AI 요약
Mintlify는 기존 RAG(검색 증강 생성) 방식이 문맥이 여러 페이지에 걸쳐 있거나 정확한 구문 검색이 필요한 경우 한계가 있다는 점을 발견하고, AI 에이전트가 문서를 코드베이스처럼 탐색할 수 있는 가상 파일 시스템 구조를 도입했습니다. 기존의 컨테이너 기반 샌드박스 방식은 세션 생성 시 GitHub 클론 등을 포함해 약 46초(p90 기준)의 지연 시간이 발생하고 연간 약 7만 달러의 높은 비용이 발생하는 문제가 있었습니다. 이를 해결하기 위해 Mintlify는 실제 파일 시스템 대신 Vercel Labs의 'just-bash'를 활용하여 UNIX 명령어를 기존 Chroma 데이터베이스 쿼리로 변환하는 'ChromaFs'를 구축했습니다. 이 가상화 기술을 통해 사용자 대기 시간을 100ms 수준으로 획기적으로 줄였으며, 기존 DB 인프라를 재사용함으로써 추가 컴퓨팅 비용을 사실상 제로(0)로 만들었습니다. 결과적으로 AI는 grep, cat, ls, find와 같은 익숙한 도구로 문서 구조를 자유롭게 탐색하며 보다 정확한 답변을 제공할 수 있게 되었습니다.
핵심 인사이트
- 성능 비약적 향상: 세션 생성 및 부팅 시간이 기존 샌드박스 방식의 약 46초에서 가상 파일 시스템 도입 후 약 100밀리초(ms)로 단축되었습니다.
- 막대한 비용 절감: 월 850,000건의 대화 발생 시, Daytona 샌드박스 기준 연간 70,000달러 이상의 비용이 예상되었으나 ChromaFs 도입으로 추가 대화당 비용을 $0에 가깝게 유지했습니다.
- 데이터베이스의 재발견: 기존에 인덱싱 및 청크화되어 Chroma DB에 저장된 데이터를 그대로 활용하여 가상 파일 시스템의 백엔드로 사용했습니다.
주요 디테일
- RAG의 한계 극복: 단순 Top-K 검색 결과에 의존하지 않고, 에이전트가 직접 디렉토리(문서 섹션)를 이동하거나 파일(페이지) 전체를 읽을 수 있도록 설계되었습니다.
- 샌드박스 병목 현상: 1 vCPU, 2 GiB RAM 기준의 최소 사양 샌드박스 비용($0.0504/h per vCPU 등)은 대규모 서비스 시 심각한 인프라 부담으로 작용했습니다.
- 기술 스택: Vercel Labs의 Malte가 개발한 TypeScript 기반 Bash 재구현체인 'just-bash'를 활용하여 가상 쉘 환경을 구현했습니다.
- 인터페이스 구현: just-bash의 'IFileSystem' 인터페이스를 통해 grep, cat, ls, find, cd와 같은 표준 UNIX 명령어를 DB 메타데이터 쿼리로 가로채어 처리합니다.
- 효율적인 인프라: 실시간 문서 사이트를 미러링하는 구조를 통해 별도의 복제(Clone) 과정 없이 즉각적인 접근이 가능해졌습니다.
향후 전망
- 에이전트 인터페이스의 변화: AI 에이전트의 기본 인터페이스가 단순 텍스트 검색에서 파일 시스템(FS) 탐색으로 수렴되면서, 가상화된 파일 환경 구축 기술이 더욱 중요해질 것입니다.
- 경량화된 가상화 기술 확산: 고비용의 마이크로 VM 대신 특정 목적에 특화된 가상 인터페이스(Virtual FS 등)를 활용하는 아키텍처가 AI 서비스 효율화의 핵심이 될 것으로 보입니다.