네이버가 내달 12일부터 16일까지 미국 플로리다에서 열리는 세계 최고 권위 자연어처리(NLP) 학회 'EMNLP 2024'에서 검색 기술 관련 연구를 포함해 논문 4건을 발표한다고 20일 밝혔다.

EMNLP는 북미컴퓨터언어학학회(NAACL)와 함께 NLP 분야에서 글로벌 최고 AI 학회로 꼽힌다. 이 학회는 AI 번역, 챗봇, 기계 독해 등 언어 데이터 기반 자연어처리 접근법에 대한 다양한 연구를 다룬다.

이번 논문에는 네이버의 생성형 AI 검색 서비스 '큐(CUE:)'에 적용된 알고리즘 연구가 포함됐다.

이 연구는 소형언어모델(SLM)을 사용하는 모듈식 접근법을 통해 유해 질의를 탐지하고 적절한 답변을 제공할 수 있는 학습 메커니즘을 다룬다.

네이버는 이 연구 성과를 지난해 11월 '큐:'에 적용해 범죄·유해 등 불법정보, 저작권법 및 사생활 침해 등과 관련한 질의를 판별하는 데 활용하고 있다.

네이버 측은 이번 연구 성과를 실제 네이버 검색 서비스에 직·간접적으로 활용해 검색 품질과 사용성을 높이는 등 서비스 가치 창출과 연구 실효성 측면에서 의미를 더했다고 설명했다.

또 네이버는 통합검색 결과 상단에 검색어와 연관된 주요 정보를 요약해서 제공하는 '지식스니펫' 서비스에서 정보를 추출할 때 텍스트뿐만 아니라 리스트, 테이블 등 복잡한 형태의 스니펫(정보)까지 AI가 효과적으로 처리하는 기술을 제안했다.

해당 기술은 내년 상반기 지식스니펫 적용을 목표로 하고 있으며 롱테일 질의(길고 복잡한 검색어)에도 정확히 답변하는 비율을 높여 사용자가 원하는 정보를 빠르게 확인할 수 있도록 성능을 높이는데 기여할 예정이다.

거대언어모델(LLM) 문서 랭킹 능력을 소형거대언어모델(sLLM)에 이식해 검색 서비스에 적용하는 방법에 관한 논문도 발표한다. 사용자가 원하는 결과를 실시간으로 제공해야 하는 검색 서비스에서 속도 저하 없이도 LLM만큼 품질을 낼 수 있는 기술로, 지난 6월 네이버 통합검색 서비스에 적용됐다. 네이버 관계자는 "기술 적용 후 문서 클릭률(CTR)이 4.3%, 체류시간이 3% 증가하는 등의 효과를 거뒀다"고 전했다.