노트북에서 돌린 Qwen 3.8 27B, 모델 가중치까지 해석한다

“2026년 11월 3일 화제가 된 'Sparks of Weight-Space Programming' 논문은 GPT-6 Astra가 원시 가중치만 보고 네트워크의 학습 목적을 파악하고, 환경 피드백 없이 PPO 1억 스텝 학습 네트워크를 능가하는 게임 정책망을 작성할 수 있다고 주장한다. 또한 Qwen3.5-0.8B의 가중치 0.016%를 편집해 MATH-500 점수를 7.9%에서 48.1%로 끌어올리고 IFEval을 3배 향상시켰으며, 필자는 노트북에서 구동한 Qwen 3.8 27B도 같은 작업이 가능함을 확인했다.”

AI 요약

2026년 11월 3일 화제가 된 논문 "Sparks of Weight-Space Programming"은 GPT-6 Astra 같은 프론티어 모델이 신경망의 원시 가중치를 직접 읽고 수정할 수 있음을 보여준다. 사이먼 윌리슨은 논문 예제를 자신의 노트북에서 실행한 Qwen 3.8 27B로 재현하는 데 성공했다고 밝혔다. 논문은 가중치만 보고 네트워크의 학습 목적을 추론하고, 그래디언트 없이 소량의 가중치를 편집해 성능을 크게 향상시키는 '가중치 공간 프로그래밍' 개념을 제시한다. 다만 매튜 호니발 등은 도구 없이 하는 작업과 코드를 활용한 작업을 혼동했다고 비판하기도 했다.

핵심 포인트

  • 논문: "Sparks of Weight-Space Programming" (Rikiya Takehi 등, 2026년 11월 2일 공개)
  • GPT-6 Astra가 Qwen3.5-0.8B 가중치 0.016%만 편집해 MATH-500 정확도를 7.9%→48.1%로 향상, IFEval은 3배 상승
  • PPO 1억 스텝 학습 네트워크를 능가하는 소형 게임 네트워크를 처음부터 작성 가능
  • 사이먼 윌리슨이 노트북의 Qwen 3.8 27B로 동일 예제 재현 성공

향후 전망

  • 가중치 직접 해석·편집 기술이 모델 디버깅 및 경량 파인튜닝 방식에 영향
  • "도구 없이 vs 코드 활용" 방법론 구분에 대한 학계 논쟁 심화
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...