AI 요약
arXiv에 2026년 9월 16일 제출된 논문으로, 배포된 LLM이 실시간 상호작용 데이터로부터 학습할 수 없는 문제를 해결하기 위해 "무한 파라미터 LLM(Infinite-Parameter LLM)" 아키텍처를 제안한다. MoE(Mixture-of-Experts)에서 착안해, 소형 하이퍼네트워크가 런타임 데이터를 공유 베이스 네트워크의 저랭크 변조(low-rank modulation)로 변환하여 피드포워드 가중치를 실시간 데이터로부터 생성한다. 기존 가중치 생성기가 컨텍스트를 한 번 읽고 고정하는 것과 달리, 생성기 잠재 코드에 대한 베이지안 신념을 온라인으로 업데이트하여 세션이 진행됨에 따라 유효 가중치가 재도출된다. 저장 공간은 고정되지만 컴파일 가능한 가중치는 사실상 무한하며, 런타임 지식을 프롬프트 대신 가중치에 담아 컨텍스트 윈도우를 해방하고 턴 간 지속성과 일반화를 개선한다.
핵심 포인트
- arXiv:2609.18842, 2026년 9월 16일 제출, 저자 Jinli Hu, Ross M. Clarke, Yichuan Zhang, José Miguel Hernández-Lobato
- 하이퍼네트워크가 런타임 데이터를 저랭크 변조로 변환해 피드포워드 가중치를 실시간 생성
- 베이지안 신념을 온라인 업데이트하여 세션 진행에 따라 유효 가중치 재도출 (기존 방식은 1회 읽고 고정)
- 저장 풋프린트는 고정되나 컴파일 가능한 가중치는 사실상 무한, 인컨텍스트 학습·검색 대비 평가 프로토콜 제시
향후 전망
- 프롬프트 기반 지식 주입을 가중치 기반으로 대체하여 컨텍스트 윈도우 효율과 지속적 학습 가능성 확대
- 인컨텍스트 학습 및 RAG 대비 성능·비용 우위 검증을 위한 실증 평가 결과가 후속 연구의 관건
출처:hackernews