11월 미국 플로리다 ‘EMNLP 2024’서 검색 기술 논문 발표

연구 성과를 실제 네이버 검색에 활용해 서비스 성능 높여

네이버 검색 기술, 자연어처리 분야 최정상 학회서 논문 채택
네이버 사옥. [연합]

[헤럴드경제=이영기 기자] 네이버는 세계 최고 권위 자연어처리 학회인 ‘EMNLP(Empirical Methods in Natural Language Processing) 2024’에서 검색 기술 관련 정규 논문이 채택됐다고 18일 밝혔다.

올해 28회차인 EMNLP는 자연어처리 분야에서 글로벌 최고로 꼽히는 AI 학회다. 인공지능(AI) 번역, 챗봇, 기계 독해 등 언어 데이터 기반 자연어처리 접근법에 대한 다양한 연구를 다룬다. EMNLP 2024는 오는 11월 12일부터 16일까지 미국 플로리다에서 진행되며, 네이버는 이 자리에서 검색 기술 관련 연구를 포함해 채택된 논문 4건을 발표할 예정이다.

이번 학회에서 채택된 네이버의 연구 논문은 네이버 생성형 AI 검색 서비스인 ‘큐(CUE):’에 적용된 알고리즘에 대한 연구 논문이다. 해당 연구는 SLM(Small Language Model)을 사용하는 모듈식 접근법을 통해 유해 질의를 탐지하고 적절한 답변을 제공할 수 있는 학습 메커니즘을 다룬 연구다.

네이버는 연구 성과를 지난 해 11월 큐:에 적용해 AI 안정성을 강화하는데 활용하고 있다. 예를 들어, 범죄·유해 등 불법정보나, 저작권법 및 사생활 침해, 개인정보유출, 욕설·비속어 등과 관련한 질의를 판별해 무분별한 답변이 제공되지 않도록 안전한 생성형 AI 검색 환경을 구축하고 있다. 네이버는 향후 해당 기술을 활용해 신뢰도 높은 출처의 답변을 상단에 노출할 수 있도록 활용할 예정이다.

채택된 다른 논문은 LLM(초거대 생성형 언어모델, Large Language Model)의 문서 랭킹 능력을 sLLM(작은 생성형 언어모델, Small Large Language Model)에 이식시켜 검색 서비스에 적용하는 방법에 관한 논문이다. 사용자가 원하는 결과를 실시간으로 제공해야 하는 검색 서비스에서 속도 저하 없이 LLM만큼 품질을 낼 수 있는 기술을 고안했다.

네이버는 논문에서 소개된 모델을 지난 6월 통합검색 서비스에 적용해 롱테일 질의의 맥락에 더 적합한 문서를 결과로 제공할 수 있게 됐고, 기술 적용 후 문서 클릭률(CTR)이 4.3%, 체류시간이 3% 증가하는 등의 효과를 거두기도 했다.

김광현 네이버 검색/데이터 플랫폼 부문장은 “이번 연구를 통해 국내 검색 시장을 선도해온 네이버의 검색 기술을 세계 무대에서도 인정받은 것”이라며 "앞으로도 개선된 검색 정확도와 생성형 AI 실험을 바탕으로 사용자들에게 최적화된 검색 결과를 제공할 수 있는 경쟁력 있는 검색 서비스를 지속 선보일 것"이라고 말했다.