서울대 컴퓨터공학부 지능형데이터시스템 연구팀(지도교수 이상구)은 이번 달 12일 미국 플로리다에서 개최되는 이 분야 최고권위의 국제학술대회인 EMNLP 2024에 관련 논문 2편을 발표할 예정이라고 밝혔다.

(왼쪽부터) 서울대 이상구 교수, 김연아 연구원, 김형준 연구원 [사진출처=서울대학교 컴퓨터공학부 지능형데이터시스템 연구실]

.

일반적으로 ChatGPT 등 거대언어모델은 뛰어난 언어 이해력을 바탕으로 문서 요약, 보고서 작성, 대화형 정보 제공 등 놀라운 능력으로 기대를 모았지만, 엉뚱한 사실을 그럴 듯하게 주장하는 환각증세(hallucination)로 인해 여전히 기업용 서비스에 적용하는데 어려움을 겪고 있다.

이를 해결하는 방법으로 검색증강생성(RAG: Retrieval Augmented Generation) 기술이 주목받고 있는데, RAG는 사용자의 질문에 관련된 회사 내의 주요 정보를 검색(retrieval)하여 LLM에 입력으로 제공해 이를 이용해서 질문의 답을 생성하게 하는 기술이다.

RAG는 환각증세를 완화해주는 동시에 최신 정보나 기업의 고유정보를 기반으로 AI 서비스를 가능하게 하여 최근 가장 각광받는 기술로, RAG 솔루션의 신뢰성은 검색된 지식정보들을 얼마나 적절히 활용할 수 있는지에 따라 결정된다.

연구팀이 발표한 이번 논문은 이러한 상황판단을 정교하게 할 수 있는 방안을 제시한 것으로, 구체적으로는 LLM이 답변을 생성하는 과정에서 제공된 지식을 사용할 지, 또는 무시하고 LLM에 사전에 학습된 정보로 답을 할 지, 아니면 둘 다 불확실하여 답변을 거부할 지 판단하는 능력을 LLM 내부의 엔트로피(entropy: 어떤 시스템의 불안정성 정도를 나타내는 지표)를 측정하여 향상시킬 수 있도록 한 것이다.

본 연구 성과를 통해 기존 방법론 대비 상황에 따른 대처 능력을 10~30%까지 향상시켜, AI 서비스를 사용하는 고객이 체감하는 신뢰도는 그보다 더 큰 폭으로 개선될 것으로 예상된다.

연구를 주도한 서울대 지능형데이터시스템연구실 김연아 연구원과 김형준 연구원은 “LLM과 같이 커다란 딥러닝 모델의 행동패턴을 심층적으로 이해하는 것은 매우 힘든 일인데, 그 한 단면을 파악하여 실질적인 효과를 가져올 수 있는 연구결과를 만들게 되어 매우 기쁘다”고 밝혔다.

이상구 교수(서울대 컴퓨터공학부 교수, (주)인텔리시스 CTO)는 “LLM의 잠재적인 능력을 안전하게 잘 활용할 수 있는 제어(control) 기술은 LLM의 상용화를 위한 핵심 기술이 될 것”이라며 기술의 중요성을 강조하였다.