Memorilla: LLM을 위한 잠재 의미 기억

“arXiv 논문 Memorilla는 고정된 LLM을 위해 문서 컬렉션 전체에서 정보를 쿼리 의존적 '메모리 토큰'으로 모아주는 메모리 시스템으로, 문서를 한 번 인코딩해 재사용 가능한 임베딩으로 만든 뒤 쿼리별 정보를 LLM 입력 임베딩 공간에 배치한다. 단 16개의 메모리 토큰만으로 개인화·장문서·지식집약 QA를 아우르는 8개 벤치마크 중 5개에서 Mem0, MemoRAG 등 베이시스를 앞섰고, FactKG에서는 전체 컨텍스트 추론의 80.43%를 넘는 84.33% 정확도를 108배 적은 토큰으로 달성했다. TextWorld 환경에서는 평균 성공률을 전체 히스토리 인컨텍스트 학습의 18.6%에서 24.2%로 끌어올렸다.”

AI 요약

스탠퍼드대 연구진(주레 레스코벡 등 참여)이 고정된(frozen) LLM을 위한 메모리 시스템 'Memorilla'를 공개했다. Memorilla는 문서 컬렉션 전체에서 정보를 검색해 쿼리별로 의존적인 소수의 '메모리 토큰'으로 압축해 LLM 입력 임베딩 공간에 배치하는 방식이다. 단 16개의 메모리 토큰만으로 개인화·장문서·지식집약 QA 등 8개 벤치마크 중 5개에서 Mem0, MemoRAG 등 기존 베이스라인을 능가했다. FactKG에서는 전체 컨텍스트 추론(80.43%)보다 높은 84.33% 정확도를 달성하면서도 소스 문서 표현에 108배 적은 토큰을 사용했다. TextWorld 환경에서는 에이전트의 평균 성공률을 전체 이력 인컨텍스트 학습 시 18.6%에서 24.2%로 끌어올렸다.

핵심 포인트

  • arXiv:2610.21375 (2026년 10월 15일 제출, 11월 3일 v3 개정), 저자에 Jure Leskovec 포함
  • 16개 메모리 토큰만으로 8개 벤치마크 중 5개에서 최고 성능 달성
  • FactKG 정확도 84.33% vs 전체 컨텍스트 80.43%, 토큰 사용량 108배 절감
  • TextWorld 에이전트 성공률 18.6% → 24.2%로 개선

향후 전망

  • 고정 LLM의 지속적 학습(continual learning) 및 장기 상호작용 에이전트 시스템으로 확장 기대
  • 메모리 토큰 기반 접근이 컨텍스트 윈도우 효율화의 표준으로 자리잡을 가능성
출처:hackernews
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...