구글, 러스트 기반 벡터 검색에 '터보퀀트' 도입…Turbovec 공개

AI 요약

구글이 개발한 TurboQuant 알고리즘을 기반으로 한 Rust 벡터 검색 인덱스 'turbovec'이 공개되었다. 1,000만 개 문서 코퍼스가 float32로 31GB RAM을 사용하는 반면, turbovec은 4GB로 처리하면서 FAISS보다 빠른 검색 성능을 보여준다. 별도의 학습 단계 없이 온라인 증분 색인이 가능하고, ARM NEON과 x86 AVX-512 등 하드웨어 최적화 SIMD 커널을 통해 FAISS IndexPQFastScan보다 평균 3.4배(4-bit) 빠른 성능을 달성했다.

핵심 포인트

• TurboQuant: 데이터 비의존적(data-oblivious) 양자화 알고리즘, 별도 학습 단계 불필요
• 성능: 1,000만 문서를 4GB RAM으로 처리, FAISS 대비 4-bit에서 평균 3.4배, 2-bit에서 23% 빠름
• 증분 저장(sync): 마지막 동기화 이후 변경분만 저장, 크래시 세이프, 삭제·추가가 수 밀리초 소요
• 검색 시 필터링: allowlist 또는 슬롯 비트마스크로 후보 집합 내에서 SIMD 커널이 직접 필터링 수행

향후 전망

• 프라이버시·메모리·지연시간이 중요한 RAG(검색증강생성) 스택에서 오픈소스 임베딩 모델과 결합한 에어갭(air-gapped) 환경 구축에 활용 가능
• Python 바인딩 제공으로 기존 FAISS 사용자들의 대안으로 채택 확대 전망