▲ 서울공대 컴퓨터공학부 송현오 교수팀, LLM 챗봇 ‘대화 메모리’ 3~4배 압축하는 AI 기술 개발(왼쪽부터 서울대학교 컴퓨터공학부 송현오 교수, 김장현 연구원, 이덕재 연구원, 문승용 연구원, 김진욱 연구원) [출처=서울대학교 공과대학]서울대(총장 유홍림) 공과대학(학장 김영오)에 따르면 컴퓨터공학부 송현오 교수 연구팀이 장문 대화 및 문서 요약 등 긴 맥락(context)이 전제되는 작업에서 거대언어모델(LLM) 기반 챗봇의 ‘대화 메모리’를 지능적으로 압축하는 AI 기술 ‘KVzip’을 개발했다.‘대화 메모리’는 챗봇이 사용자와 대화 중 문장, 질문, 응답 등의 맥락을 임시로 저장해 현재 혹은 이후의 응답 생성에 활용하는 정보를 말한다.KVzip을 활용하면 챗봇이 스스로 문맥을 복원하는 과정에서 복원에 필요하지 않은 정보를 제거함으로써 대화 메모리를 효율적으로 압축할 수 있다.이 획기적 기술은 다양한 태스크를 수행하는 챗봇의 정확도는 유지하되 대화 메모리는 줄이고 답변 생성 시간은 단축할 수 있는 길을 열었다는 평가를 받고 있다.‘KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction’ 제하의 이번 논문은 H5-index 371을 기록한 AI 분야의 세계 최고 권위 학회 ‘NeurIPS 2025’에 제출된 논문 2만1575편 중 0.35퍼센트(%)에 해당하는 상위 77편에 선정, 구두 발표(Oral Presentation) 대상으로 채택됐다.H5-index는 Google Scholar가 집계한 논문 인용 기반 학술 영향력 지수를 의미한다.◇ 연구 배경... 대화가 길어질수록 ‘대화 메모리’가 누적돼 메모리 비용 증가 및 응답 지연의 문제 발생최신 LLM 챗봇은 수백에서 수천 페이지에 달하는 방대한 문맥을 바탕으로 대화, 코딩, 질의응답 등의 작업