더 빠른 검색으로 더 효율적인 RAG 구현

“애플 연구진이 ICML 2026에서 발표한 논문에서 고정된 키 데이터베이스에 대해 오프라인으로 소규모 신경망을 학습시켜 쿼리를 최적 매치로 빠르게 라우팅하는 MIPS 기법을 제안했다. 기존 클러스터링·양자화 기반 근사 방식이 짧은 사용자 질의와 긴 문서 키 간 분포 차이를 간과하는 문제를 겨냥해, 추론 시 더 빠르고 정확한 RAG 검색을 가능하게 한다.”

AI 요약

애플 연구진이 ICML 2026에서 발표한 논문에서 RAG 등에 쓰이는 최대 내적 탐색(MIPS)을 더 빠르고 정확하게 수행하는 방법을 제안했다. 기존 클러스터링·양자화 기반 근사 기법은 키 집합의 기하 구조에 의존해, 짧은 사용자 질문인 쿼리와 긴 문서인 키 간 분포 차이를 제대로 반영하지 못한다는 문제를 지적한다. 애플은 고정된 키 데이터베이스에 대해 오프라인으로 소형 신경망을 학습시켜 쿼리를 최적 매치로 빠르게 라우팅하는 '학습된 서포트 함수' 방식을 제안했다. 초기 학습 비용을 상각(amortize)하는 대신 추론 시점의 검색 속도와 정확도를 높이는 접근이다.

핵심 포인트

  • MIPS는 추천·검색·RAG의 핵심으로, 키 수백만·차원 수천 규모에서 전수 비교 비용이 급증
  • 기존 근사 기법은 쿼리 분포를 고려하지 않아 RAG에서 쿼리-키 불일치 문제 발생
  • 고정 키 DB에 대해 소형 신경망을 오프라인 1회 학습해 쿼리 라우팅에 활용
  • ICML 2026 논문 "Amortizing Maximum Inner Product Search with Learned Support Functions"로 발표

향후 전망

  • RAG 파이프라인의 검색 지연·비용 절감에 기여할 가능성
  • 프로덕션 쿼리 분포를 활용한 도메인 특화 검색 최적화 연구 확산
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...