RAG 검색 결과, 정답에 필요한 부분만 ‘가지치기’한다

AI 요약

Kapa.ai가 RAG(검색 증강 생성) 시스템에 '가지치기(pruning)' 단계를 추가하여 비용을 절감하면서도 높은 재현율을 유지하는 방법을 개발했다. 검색된 청크 중 실제 답변에 필요한 부분만 남기고 약 68%의 컨텍스트를 제거하며, 재현율은 96%를 유지한다. 이를 통해 쿼리당 비용을 약 1/3 절감했다.

핵심 포인트

• 검색기와 생성기 사이에 작고 저렴한 LLM을 추가해 불필요한 청크를 사전 제거
• 컨텍스트의 약 68%를 제거하면서도 재현율 96% 유지
• 쿼리당 비용을 순비용 기준 약 1/3 절감
• 단순 랭킹 점수 기반 컷오프는 교차 쿼리 간 보정이 불가능해 실패, 청크 간 관련성은 단일 청크 속성이 아님

향후 전망

• 에이전트 시스템에서 컨텍스트 창이 빠르게 증가하는 문제를 완화하는 핵심 기술로 자리잡을 가능성