AI 요약
스탠퍼드대 연구진(주레 레스코벡 등 참여)이 고정된(frozen) LLM을 위한 메모리 시스템 'Memorilla'를 공개했다. Memorilla는 문서 컬렉션 전체에서 정보를 검색해 쿼리별로 의존적인 소수의 '메모리 토큰'으로 압축해 LLM 입력 임베딩 공간에 배치하는 방식이다. 단 16개의 메모리 토큰만으로 개인화·장문서·지식집약 QA 등 8개 벤치마크 중 5개에서 Mem0, MemoRAG 등 기존 베이스라인을 능가했다. FactKG에서는 전체 컨텍스트 추론(80.43%)보다 높은 84.33% 정확도를 달성하면서도 소스 문서 표현에 108배 적은 토큰을 사용했다. TextWorld 환경에서는 에이전트의 평균 성공률을 전체 이력 인컨텍스트 학습 시 18.6%에서 24.2%로 끌어올렸다.
핵심 포인트
- arXiv:2610.21375 (2026년 10월 15일 제출, 11월 3일 v3 개정), 저자에 Jure Leskovec 포함
- 16개 메모리 토큰만으로 8개 벤치마크 중 5개에서 최고 성능 달성
- FactKG 정확도 84.33% vs 전체 컨텍스트 80.43%, 토큰 사용량 108배 절감
- TextWorld 에이전트 성공률 18.6% → 24.2%로 개선
향후 전망
- 고정 LLM의 지속적 학습(continual learning) 및 장기 상호작용 에이전트 시스템으로 확장 기대
- 메모리 토큰 기반 접근이 컨텍스트 윈도우 효율화의 표준으로 자리잡을 가능성
