AI 요약
구글 리서치가 지속 학습(continual learning)에서 LLM의 치명적 망각(catastrophic forgetting) 문제를 해결하기 위한 '수면 프레임워크'를 발표했다. 인간 뇌가 휴식 중 기억을 안정화하는 방식에서 영감을 받아, 모델이 '활성(각성) 단계'와 '수면 단계'를 번갈아 수행하도록 설계했다. 수면 단계에서는 사전 할당된 MoE(Mixture-of-Experts) 메모리 블록을 활성화하고 자기 생성 연습 예제로 가중치를 업데이트하여 단기 컨텍스트를 장기 파라미터로 통합한다. 이를 통해 최대 1,000만 토큰의 장문맥 지식 유지와 복잡한 추론 능력 향상을 입증했다.
핵심 포인트
- 2026년 10월 27일 Ali Behrouz·Vahab Mirrokni가 발표한 수면 프레임워크는 '기억 공고화(memory consolidation)'와 '꿈꾸기(dreaming)' 두 단계로 구성
- 수면 단계에서 사전 할당된 MoE 메모리 블록을 열고 자기 생성 예제로 수치 가중치를 업데이트하는 자동화된 사후 학습 사이클 운영
- 최대 1,000만(10M) 토큰의 장문맥 지식 유지 및 복잡한 추론 능력 향상 달성
- 핵심 코드베이스와 설계 변경 없이 배포된 모델이 새로운 사실을 흡수하도록 지원
향후 전망
- 정적 지식 컷오프와 망각 문제를 동시에 해결하는 지속 학습 패러다임으로 자리매김 가능
- 배포 후 자가 개선 사이클이 상용 LLM의 유지보수·업데이트 방식을 근본적으로 변화시킬 전망
