AI 요약
최신 LLM(대규모 언어 모델)이 명시적인 추론 과정 없이도 "필러 토큰(filler tokens)"을 활용해 내부적으로 사고하는 능력을 보이고 있다. 필러 토큰이란 "."처럼 의미 없는 토큰으로, 질문 뒤에 붙이면 정확도가 향상된다는 연구 결과가 나왔다. 리앙 그린블랫의 연구에 따르면 Claude Opus 4.5는 300개의 필러 토큰 사용 시 수학 문제 정답률이 45%에서 51%로, 멀티홉 문제는 14.8%에서 23.5%로 상승했다. 케일리 브라우어 등의 연구는 LLM이 필러 토큰 위치에서 MLP와 어텐션 메커니즘을 통해 은닉 추론을 수행하며, 로짓 렌즈로 중간 계산값을 읽어낼 수 있음을 밝혀냈다.
핵심 포인트
- 필러 토큰 300개 사용 시 Claude Opus 4.5의 수학 문제 정답률 45%→51%, 멀티홉 문제 14.8%→23.5%로 향상
- 2023년 Anthropic 연구에서는 필러 토큰 효과가 없다고 결론지었으나, 최근 2~3년간 LLM이 이를 활용할 수 있게 진화
- 브라우어 등의 NeurIPS 2026 연구에서 필러 토큰 중간 상태에 "77", "35" 같은 중간 계산값이 저장됨을 로짓 렌즈로 확인
- LLM은 별도 훈련 없이 일반적인 다음 토큰 예측 훈련만으로 자연스럽게 이 능력을 습득
향후 전망
- LLM이 스스로 필러 토큰을 생성해 추론하는 자기 주도적 사고 방식으로 발전 가능
- 정확도만 추구하면 기존 CoT가 우선되지만, 훈련 방식 변화에 따라 필러 토큰 기반 추론이 부상할 수 있음
출처:hatena