▲ 서울대학교 컴퓨터공학부 강유 교수[출처=서울대학교 컴퓨터공학부]서울대학교(총장 유홍림) 공과대학(학장 김영오)에 따르면 컴퓨터공학부 강유 교수팀이 개인정보 보호나 보안 등의 이유로 학습 데이터 사용이 어려운 상황에서도 딥러닝 모델의 성능 저하를 최소화하며 경량화할 수 있는 혁신적인 인공지능(AI) 기술을 개발했다.이번 연구 논문은 2025년 4월24일부터 닷새간 싱가포르에서 열리는 세계적 AI 학술대회 ‘ICLR 2025’에 채택된 바 있다.올해로 13회를 맞는 ‘ICLR (International Conference on Learning Representations)’은 기계 학습 및 딥러닝 분야에서 세계 최고 권위를 자랑하는 학회다.프라이버시 보호나 보안 문제로 학습 데이터 접근이 어려운 상황은 현실에서 딥러닝 모델을 훈련시킬 때 겪는 큰 어려움 중 하나다.이를 해결하기 위해 개발된 ‘제로샷 양자화(Zero-shot Quantization, 이하 ZSQ)’는 훈련 데이터 없이 모델을 양자화할 수 있는 기술이다.그러나 기존의 ZSQ 기술은 합성 데이터의 노이즈, 부정확한 특징에 기반한 예측, 어려운 데이터의 잘못된 하드 레이블(Hard Lavel, 1가지 정답만 있는 레이블)이 야기하는 오차 발생 등으로 모델 성능 저하를 불러오는 치명적 한계를 보였다.이에 강 교수팀은 훈련 데이터를 사용하지 않고도 딥러닝 모델의 성능을 유지하며 효과적으로 경량화시킬 수 있는 ZSQ 기술인 ‘SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization)’ 기법을 제안했다.이는 실제 학습 데이터셋이 없는 환경에서도 종전의 ZSQ 기술에 쉽게 적용할 수 있는 중요한 기법으로 평가받고 있다.연구진은 SynQ의 3가지 핵심 기술로 딥러닝 모델의 성능을 향상시켜 기존 ZSQ의 약점을 극복하는 성과를 거뒀다.먼저 저역 통과 필터(low-pass filter)를 적용해 데이터의 고주파 노이즈를 제거했다. 그리고 사전 학습된 모델과 양자화된 모델 사이의 클래스 활성화 맵(Class Activation Map, 이하 CAM)을 정렬해 딥러닝 모델의 예측 정확도를 높였다.아울러 사전 학습된 모델이 어려운 샘플에 대해 오류를 일으킬 수 있는 점을 고려해 이러한 샘플에는 하드 레이블 대신 소프트 레이블(Soft Rabel, 확률로 표현된 정답)만을 사용함으로써 잘못된 학습을 방지했다.즉 SynQ는 사전 학습된 모델이 생성한 합성 데이터를 저역 통과 필터로 정제한 뒤 CAM 정렬과 난이도 기반 손실 함수 적용을 통해 양자화된 모델을 미세 조정함으로써 실제 데이터 없이도 모델 성능을 유지하며 경량화를 달성하는 원리를 지닌다.향후 SynQ 기법은 고성능의 경량 딥러닝 모델을 구현할 수 있는 AI 산업의 핵심 기술로 자리 잡을 전망이다. 특히 학습 데이터 없이도 모델의 정확도를 유지한 채 압축할 수 있는 SynQ를 활용하면 스마트폰, IoT(사물인터넷) 기기, 자율주행 센서 등 자원이 제한된 엣지 디바이스 환경에서도 고성능 AI를 안정적으로 운용할 수 있을 것으로 예상된다.연구 책임자인 강유 교수는 “SynQ 기술은 개인 데이터 유출 없이 모델을 경량화할 수 있는 강점 덕분에 보안 및 프라이버시 침해 문제를 줄이는 데 기여할 수 있다”고 강조하며 “나아가 이 기법을 적용하면 그간 대량의 학습 데이터에 접근하기 어려웠던 소규모 기업 및 기관도 고성능 AI를 손쉽게 활용할 수 있기 때문에 다양한 분야에서 AI 기술 확산 및 대중화가 가속할 것으로 기대된다”고 밝혔다.

최근 경상북도와 경상남도에서 대규모 산불이 발생해 엄청난 피해가 발생했다. 험준한 산악 지형과 건조한 날씨는 화재 진압 자체를 불가능하게 만들었다.군인을 포함한 대규모 인력을 동원하고 군용 헬기까지 투입하고서야 진화가 가능해졌다. 화재를 사전에 예방하고 초기에 발견하는 것이 중요하다는 사실을 새삼 일깨워준 사건이었다.중앙대 ICT융합안전 전공자인 이정록, 이대웅, 정서현 등이 쓴 '화재 탐지 영역의 이미지와 동영상 인식 사이 인공지능 모델 성능 비교 연구(A Comparative Study on Artificial in Intelligence Model Performance between Image and Video Recognition in the Fire Detection Area)라는 논문을 소개한다. ◇ 오탐지율을 낮추기 위해 화재 상황 분류 모델과 학습데이터셋 제안최근 기후재난 이슈와 더불어 캐나다 산불, 하와이 산불과 같은 화재로 인해 엄청난 재산과 인명피해가 발생하고 있다. 화재를 예방하기 위한 노력과 함께 피해를 최대한 줄일 수 있게 화재를 조기에 탐지하기 위한 연구가 진행되고 있다.현재 소방 분야에서는 화재를 탐지하기 위한 불꽃, 연기, 가스 등을 감지하는 센서를 설치해 관리하고 있다. 센서를 활용한 방식은 가격이 저렴하고 작동이 편리해 건물 및 공장 등에 많이 설치돼 있다.하지만 정확도가 낮아 오탐이 많다. 이를 보완하기 위해 딥러닝 인공지능 기술인 CNN, Transformer 등의 신경망을 이용한 화재 탐지 모델에 대한 연구가 활발하다.불꽃 및 연기 객체를 탐지하는 화재 탐지 모델은 입력 영상에서 클래스 정의한 객체의 특징을 추출해 인식하는 기술로 실시간성을 확보하기 위해 모델을 경량화하는 쪽으로 연구가 계속되고 있다.여러 폐쇄회로TV(CCTV) 영상을 동시에 분석할 수 있게 경량화된 모델은 CCTV 기반 화재 탐지 시스템에 적용되고 적은 비용으로 많은 공간을 넓게 모니터링할 수 있다. 그러나 경량화로 인해 오탐지율이 높아 이를 개선하기 위한 연구가 활발하다.오탐지율을 낮추기 위해 화재 상황 분류 모델과 학습데이터셋을 제안한다. 기존 탐지 모델과 학습방법에 대해 실험을 통해 비교, 평가해 제안방법의 우수성을 증명한다.◇ 동영상 기반의 딥러닝 모델이 정확한 화재탐지에 더 적절하다는 것을 실험으로 증명딥러닝 기술을 기반으로 한 객체 탐지 기술은, 연산 속도를 비약적으로 단축한 YOLO 모델이 2015년 처음 발표되면서부터 실시간 탐지 프로그램에 적용되기 시작했다.초창기에는 연산 시간을 단축하는 것에 치중한 나머지 예측 성능이 떨어진다는 평가를 받기도 했지만 2023년을 기준으로 8번째 버전까지 고도화를 거치면서 정확도와 실용성을 모두 갖춘 기술로 평가받고 있다. 하지만 불꽃과 연기를 탐지하도록 훈련된 모델은 실제 화재를 감지할 때 사용하기 어려운 성능 수준을 보인다.이는 객체 탐지 모델은 탐지하고자 하는 객체의 형태가 명확할수록 성능이 올라가지만 화재에서 발생하는 불꽃과 연기는 시각적인 경계가 모호하고,객체의 크기와 형태 또한 다양한 양상을 보이기 때문이다.이러한 특징은 학습데이터를 구축할 때도 일관된 레이블링 작업을 어렵게 만들기 때문에 모델의 성능이 더욱 떨어지는 원인이 된다.예를 들면 길쭉하게 뻗어 퍼지고 있는 연기의 경우, 직사각형 모양으로 해당 객체를 표시했을 때 연기를 포함하는 영역보다 포함하지 않는 영역이 더욱 커질 수 있어 모델의 성능을 저하하는 원인이 된다.이러한 객체 탐지 모델의 한계점을 극복하기 위해 기존 YOLO 모델에 optical flow 같은 광학적 특성들을 전처리 과정을 통해 모델에 입력하거나 다양한 크기의 불꽃을 학습하기 위해 모델 구조에 변화를 주는 방식을 시도하고 있다.하지만 복잡한 전처리가 필요하거나 연산 속도가 느려지는 등의 한계가 존재한다. 따라서 기존 이미지 데이터를 사용한 방식보다는 여러 프레임을 한번에 고려하는 동영상 기반의 딥러닝 모델이 정확한 화재탐지에 더 적절하다는 것을 실험으로 증명하려 한다.◇ Kinetics-400 데이터를 사전 훈련한 모델에 NIA 화재 데이터셋 추가 학습이미지 기반 모델은 실시간 탐지 프로그램에 적용할 수 있으며, 2023년을 기준으로 8번째 버전까지 고도화를 거쳐 정확도와 실용성을 모두 갖춘 YOLOv8 모델을 선정했다.COCO(Microsoft Common Objects in Context) 데이터를 사전 훈련한 모델에 대해 NIA 화재 데이터셋을 추가 학습했다. 아래 그림은 YOLO 모델 구조를 보여준다.동영상 기반 모델은 공간과 시간 축의 프레임 수를 달리해 빠르게 변화하는 모션을 인지하는 네트워크와 느리게 변화하는 모션을 인지하는 네트워크로 구분하는 SlowFast 모델을 선정했다. Kinetics-400 데이터를 사전 훈련한 모델에 NIA 화재 데이터셋을 추가 학습했다.▲ YOLOv8 frame(locher, 2023)◇ 한국정보화진흥원(NIA)에서 제공하는 데이터셋 사용데이터는 한국정보화진흥원(NIA)에서 제공하는 데이터셋을 사용했으며 데이터는 1920x1080과 1280x720 크기로 12초 길이의 30FPS 클립으로 구성돼 있다.클래스는 “정상(NONE)”, “연기(SMOKE)”, “불꽃(FLAME)” 3개로 구분했다. 영상에는 불꽃과 연기 등이 다양하게 분포돼 있다. 이미지 기반 모델 동영상 데이터를 이미지로 변환해 학습을 진행한다.이 때 정상은 학습할 수 없기 때문에 연기와 불꽃 탐지만 할 수 있도록 학습을 진행하며 이후 후처리를 통해 정상 클래스를 분류한다.각 불꽃, 연기, 정상은 300개 클립으로 Table 1과 같이 구성했고 Table 2는 학습, 검증, 테스트가 8:1:1 비율로 구성됨을 보여준다.▲ Data for each class, 1:1:1 composition of proportions◇ 성능 평가... 이미지와 동영상 기반 모델을 동일한 조건으로 평가평가는 동영상 데이터에 대해 정상, 연기, 불꽃 클래스를 올바르게 분류했는지를 P(Precision), R(Recall), F(F1-Score)로 평가한다.이미지와 동영상 기반 모델을 동일한 조건으로 평가하기 위해 YOLO는 후처리를 통해 분류 형식에 맞도록 반환값을 조정한다.1개의 클립은 360장의 이미지로 이뤄진 데이터를 사용하고 있기 때문에 YOLO는 1개의 클립에 대해 총 360장 이미지를 읽어 각 이미지 별로 클래스를 탐지한다. 탐지된 우선순위는 불꽃 >= 연기 > 정상으로 판단한다.불꽃이 발생하는 경우엔 필연적으로 연기가 같이 발생하기 때문에 하나의 이미지에서 연기와 불꽃을 모두 탐지한 경우는 불꽃에 더 높은 우선 순위를 부여한다.360장 이미지에 대해 각 클래스를 탐지한 후 후처리를 위해 S_TH(Score_Threshold)를 0.1, 0.2, ..., 1.0으로 0.1 STEP씩 S_TH를 증가하며 360장 이미지에서 탐지된 불꽃, 연기 비율을 카운팅한다.이때 카운팅 수량이 S_TH를 넘어서면 해당 클래스로 분류했다고 판단하고 S_TH를 넘기지 못하면 정상 클래스로 분류했다고 판단한다.▲ YOLO Post-processing methods◇ 성능 비교... YOLO를 사용한 경우가 동영상 기반의 SlowFast 모델보다 정확도가 높게 나타나테스트셋은 불꽃, 연기, 정상 클래스별 각 30개의 클립을 사용한다. 제한된 테스트셋 기준에선 전반적으로 이미지 기반의 탐지모델인 YOLO를 사용한 경우가 동영상 기반의 SlowFast 모델보다 정확도가 높게 나타났다.하지만 YOLO는 화재가 발생했는데 불꽃이 작아 연기 위주인 경우에는 불꽃을 제대로 탐지하지 못했다. 불꽃의 밝기로 그 주변까지 밝아져 불꽃 형상이 명확하게 보이지 않는 경우에도 1개의 불꽃을 여러 개로 탐지하는 등의 오탐이 존재했다.SlowFast는 YOLO와 다르게 불꽃이 작고 연기 위주인 경우에도 불꽃을 잘 탐지했다. 불꽃의 빛 번짐으로 불꽃 형상이 명확하지 않더라도 올바르게 탐지함을 확인했다.다만 정상 recall과 연기 precision을 보면 두 클래스 사이 오탐이 성능을 저하시킴을 볼 수 있고 이는 정상에 대한 특징이 명확하지 않아 정상 영상에 존재하는 희미한 구름 등이 연기로 오탐을 일으키는 것으로 유추된다. 정상 데이터를 불꽃, 연기보다 배로 확보해 정상,연기,불꽃 별 성능 추이를 확인해볼 필요가 있다.마지막으로 두 모델 모두 화재를 올바르게 탐지하지만 현재 테스트 케이스는 명확한 정상, 연기, 불꽃으로 나누어졌기에 YOLO가 보다 우수한 성능을 가짐을 확인할 수 있다.하지만 노이즈가 많은 데이터를 입력으로 넣은 경우에는 YOLO의 오탐지가 더 높음을 확인할 수 있다. 이는 너무 소량의 테스트 데이터를 사용했으믈 현재 성능을 그대로 받아들이기 어려운 점을 시사한다.▲ If the shape of the flame is not clearly visible due to the strong flame (YOLO / SlowFast)◇ YOLO는 배경의 영향을 많이 받아 주변이 너무 밝거나 흐리면 탐지 성능이 급감화재탐지 분야에서 이미지 기반의 모델 YOLO와 동영상 기반의 모델 SlowFast 성능을 비교해 둘 중 어느 접근법이 화재탐지 분야에 더 유효한지 실험했다.YOLO는 배경의 영향을 많이 받아 주변이 너무 밝거나 흐리면 탐지 성능이 급감하며 화재의 규모가 너무 크거나 작을 때에도 화재를 제대로 감지하지 못했다.이는 객체 탐지를 위해 레이블링 할 때 주변이 밝거나 흐린 경우 불꽃이나 연기의 형상을 일관되게 잡을 수 없기 때문으로 보이며 이는 모델 학습 시 성능 저하가 더 가중된 것으로 판단된다.동영상 기반 모델 SlowFast는 FastPath와 SlowPath를 이용해 빠르게 변화하는 모션과 느리게 변화하는 모션을 인지하는 네트워크를 구분해 학습한다.동영상의 시간 축을 같이 학습하기 때문에 비정형 객체에 대해 주변이 흐리거나 밝아 형상을 명확하게 유추할 수 없는 상황에서도 우수하게 화재를 탐지하는 것을 확인했다.다만 SlowFast는 불꽃을 잘 예측하지만 정상과 연기 사이 오탐하는 경우가 빈번하다. 이를 개선하기 위해 정상 데이터 분포를 연기, 불꽃 대비 2~5배 가량 증가시키며 연기, 불꽃 성능은 유지하되 정상인 경우의 오탐을 줄이는 등 모델 성능 고도화를 위한 연구가 필요하다.▲ 정상 전문위원(중앙대학교 교수)

▲ 왼쪽부터 서울대학교 기계공학부 김도년 교수(교신저자), 김재훈 박사(공동 주저자), 임재경 박사(공동 주저자, 현 삼성전자 근무)[출처=서울대학교 공과대학]서울대학교(총장 유홍림) 공과대학(학장 김영오)에 따르면 기계공학부 김도년 교수 연구팀 논문이 반도체 운영 분야 국제 학술지 ‘IEEE Transactions on Semiconductor Manufacturing (이하 IEEE TSM)’에서 2024년 최우수논문상(Best Paper Award)을 수상했다.해당 분야의 가장 권위 있는 저널 중 하나인 IEEE TSM은 반도체 공정 및 생산 관련 최신 기술과 응용을 다루며 1년 동안 해당 저널에 게재된 논문들 중 가장 우수한 1편을 최우수 논문(Best Paper)으로 선정해 시상한다.김도년 교수팀의 또 다른 논문은 2021년 IEEE TSM에서 우수 논문(Best Paper Award: Honorable Mention) 3편 중 하나로 선정된 바 있다. 3년 만에 같은 저널에서 최우수논문상을 수상하는 쾌거를 이뤘다.연구팀은 ‘Hotspot Prediction: SEM Image Generation with Potential Lithography Hotspots’ 제하의 이번 논문에서 리소그래피 공정 중 결함이 발생할 수 있는 취약 부위를 리소그래피 패턴 정보만으로 미리 예측할 수 있는 딥러닝 기술을 제시했다.이는 취약 부위에 대한 선제적인 설계 변경 등을 통해 반도체 생산 수율을 높이고 비용은 줄일 수 있는 핵심 기술이라는 평가를 받고 있다.논문의 주저자인 김재훈 박사는 “뜻깊은 상을 받게 돼 큰 영광이며 함께 연구에 참여하신 모든 분들께 감사드린다”고 인사를 전하며 “이번 성과를 발판 삼아 반도체 공정의 계측 및 검사 기술에 관한 연구에 정진하겠다”고 밝혔다.김재훈 박사는 현재 서울대 기계공학부에서 박사후연구원으로서 연구 활동을 이어가고 있다. 특히 적은 데이터만으로도 학습이 가능한 딥러닝 모델을 개발하고 실제 산업 현장에서도 활용되도록 그 응용 범위를 확장하는 연구를 진행 중이다.공동 주저자인 임재경 박사는 “이번 연구 결과가 2024년 최우수 논문으로 선정돼 매우 기쁘며, 연구를 지원해주신 많은 분들께 고맙다는 말씀을 드리고 싶다”며 “앞으로 반도체 제조 분야의 발전을 위해 지속적으로 노력하겠다”고 각오를 밝혔다.서울대 기계공학부에서 박사 학위를 취득한 임재경 박사는 현재 삼성전자 DS 부문에서 주사현미경과 전자빔 검사를 활용해 반도체 불량을 검출하는 업무를 수행하고 있다.◇ 참고 자료- 상: 2024 IEEE Transactions on Semiconductor Manufacturing Best Paper Award- 논문명: Hotspot Prediction: SEM Image Generation with Potential Lithography Hotspots- 논문저자: 김재훈*, 임재경*, 이진호, 김태연, 남윤형, 김기현, 김도년 (*공동 제1저자)

▲ 라마인덱스의 피에르 로익 둘셋(Pierre-Loic Doulcet) 문서분석도구 담당 엔지니어가 26일 서울시 역삼동 GS타워에서 열린 ‘라마인덱스&52g-GenAI 커넥트 데이’에서 발표하고 있다[출처=GS그룹]GS그룹(회장 허창수)에 따르면 2024년 9월26일(목요일) 서울시 역삼동 GS타워에서 ‘라마인덱스&52g-GenAI 커넥트 데이’를 개최했다. 디지털 전환(DX)을 주도하는 혁신 커뮤니티 ‘52g’(5pen 2nnovation GS)과 라마인덱스가 공동 주관했다. 글로벌 AI 엔지니어들이 모여 LLM 활용 노하우를 공유하고 협력하기 위해 마련됐다.라마인덱스&52g-GenAI 커넥트 데이는 거대언어모델(LLM) 앱 개발 솔루션 기업 라마인덱스(LlamaIndex)와 함께 글로벌 AI(인공지능) 트랜드를 공유하는 행사다. 라마인덱스는 LLM을 기반으로 한 애플리케이션을 보다 쉽게 개발할 수 있도록 돕는 종합 서비스 기업으로 업계에서는 랭체인(LangChain)과 양대산맥을 이루며 생성형 AI 혁신을 선도하는 실리콘밸리 기업으로 평가받는다.라마인덱스가 한국에서 워크숍을 개최한 건 이번이 처음이다. 일본 도쿄, 프랑스 파리에 이어 한국의 서울을 선택한 것은 대한민국의 AI 역량과 가능성을 높이 평가했기 때문이다.GS는 기존에 내부 구성원만을 대상으로 진행하던 행사를 외부에 개방했다. 국내 개발자들이 글로벌 AI 생태계와 교류하고, 커뮤니티를 형성할 기회라고 판단해서다.외부 AI 엔지니어 70명을 포함한 100여 명의 참석자는 LLM 기술을 적용한 실무 경험과 업계 동향을 주고받았다.특히 이번 행사는 앤드류 응(Andrew Ng) 미국 스탠퍼드대 교수가 만든 교육 플랫폼 딥러닝 AI(deeplearning.ai)를 통해 전 세계에 공개됐다.응 교수는 세계 4대 AI 석학으로 불리는 인물로 50여 국에서 7만 명이 참여한 상호만남(밋업) 시리즈 ‘Pie&AI’ (파이앤AI)를 펼치고 있다. 국내에서 열린 행사 중 처음으로 Pie&AI 시리즈로 소개되며 관심을 모았다.연사로는 라마인덱스의 피에르 로익 둘셋(Pierre-Loic Doulcet) 문서분석도구 담당 엔지니어, 초개인화 AI 에이전트 솔루션 개발 스타트업 라이너(Liner)의 허훈 테크리드 등이 나섰다. LLM을 활용한 문제 해결 방법과 운영 전략에 대한 관점을 공유했다.52g는 이날 노코드(No-Code) 방식의 생성형 AI 개발 플랫폼 ‘미르’를 소개했다. 52g가 자체 개발한 미르는 코딩을 할 줄 모르는 현업 직원도 개발자의 도움 없이 생성형 AI를 제작할 수 있도록 하는 플랫폼이다.한편 GS그룹은 AI와 DX를 현장에 도입하며 혁신을 추구하고 있다. AI를 활용한 실리콘밸리식 아이디어 경연 ‘GS그룹 해커톤’, 각 계열사 DX 담당 인력 합동근무 등을 통해 DX 활동을 현장 중심으로 전진 배치하는 데 주력하고 있다.행사를 기획한 강병진 GS 매니저는 “AI에 대한 GS의 열정과 수준을 증명하고 글로벌 커뮤니티와 소통할 수 있었던 유의미한 자리로, 앞으로도 꾸준히 기회를 넓히겠다”고 말했다.