AI 요약
MIT CSAIL 연구진은 프런티어 LLM이 신경망 가중치를 자연어 수준으로 직접 읽고 쓸 수 있다는 연구 결과를 발표했다. GPT-6 Astra는 원시 가중치만 보고 네트워크의 훈련 목적을 파악하며, 환경 피드백 없이도 PPO로 1억 스텝 훈련된 네트워크를 능가하는 소형 게임 플레이 네트워크를 처음부터 작성했다. 또한 Qwen3.5-0.8B의 가중치 0.016%를 직접 편집해 추론 루프 문제를 고쳐 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸고, IFEval은 3배 향상됐다. 연구진은 이를 '가중치 공간 프로그래밍(Weight-Space Programming)'이라 명명했다.
핵심 포인트
- GPT-6 Astra가 Qwen3.5-0.8B 가중치의 0.016%만 편집해 MATH-500을 7.9%→48.1%로 개선
- 동일 수정으로 IFEval이 3배 향상되는 등 지시 따르기 능력으로 일반화됨
- Astra는 훈련 루프 작성 없이 추론만으로 각 가중치의 역할을 파악해 수정함
- PPO 1억 스텝 훈련 네트워크를 능가하는 게임 플레이 네트워크를 무피드백으로 생성
향후 전망
- Adam·Muon 같은 기호적 옵티마이저 중심의 가중치 최적화 패러다임이 LLM 기반 추론 최적화로 전환될 가능성
- 최적화와 해석 가능성(interpretability) 양쪽에 큰 영향이 예상되나, 초기 결과인 만큼 재현·검증이 관건
출처:hackernews
