AI 요약
arXiv에 2026년 11월 16일 제출된 논문에서 연구진이 언어 모델이 그래디언트나 학습 없이 스스로 가중치를 재작성하는 '자기 재작성(self-rewriting)' 기법을 최초로 시연했다. 오픈 27B 모델이 자신의 가중치와 채점된 답변, 자기 실행 능력을 바탕으로 실패를 진단하고 가중치를 수정해, 학습하지 않은 문제에서 정확도가 6.6포인트 향상되었다. 8회 연속 세션에서 정확도가 계속 상승했으며, 손상된 자기 복사본을 원래 가중치를 읽지 않고도 이미지 작업에서 원래 정확도의 80% 이상으로 복구했다. 이 능력은 모델 규모가 커질수록 발현되는 것으로 나타났다.
핵심 포인트
- 그래디언트·학습 없이 모델이 스스로 가중치를 재작성하는 최초 사례
- 오픈 27B 모델이 미학습 문제에서 정확도 6.6포인트 향상
- 8회 연속 세션에서 정확도 지속 상승, 손상된 자기 복사본을 80% 이상 정확도로 복구
- 소형 모델은 편집 실패 또는 자기 손상, 최대 모델만 개선·복구 성공(규모 의존적 발현)
향후 전망
- 추론 시 추가 비용 없이 가중치에 이득을 기록하는 방식으로 재귀적 자기 개선의 기반 마련
- 학습과 추론의 경계를 허무는 방향으로 모델 개발 패러다임 변화 가능성
출처:hackernews
