AI 요약
추론(reasoning)을 "토큰 공간에서의 경로 탐색(pathfinding)"으로 재해석하는 글입니다. 모델이 같은 문제에 대해 여러 개의 사고 사슬(chain of thought)을 샘플링하며, 각 사슬은 시작 컨텍스트 x에서 정답 집합으로 향하는 하나의 경로 시도라는 관점입니다. 강화학습은 정답에 도달하는 경로를 찾을 확률을 최대화하지만, 개별 경로가 반드시 정답으로 수렴하는 것은 아니라는 점을 설명합니다. 이를 통해 "더 길게 생각한다고 항상 좋아지지 않는" 현상과 불충실한 사고 사슬, 보상 해킹 같은 관찰들을 설명합니다.
핵심 포인트
- 추론을 프롬프트 x에서 검증기 r(x,y)=1을 만족하는 정답 집합 S_x로 향하는 토큰 경로 z의 탐색 문제로 정식화
- 동일 문제를 10번 물으면 10개의 서로 다른 사고 사슬이 나오며, 여러 경로가 각각 정답에 도달할 수 있음(예: 1부터 10까지 순차 합산 vs 양끝配对으로 11×5=55)
- RL 훈련은 경로 발견 확률을 높이지만, 훈련된 모델의 사슬을 억지로 더 길게 늘리면 일정 지점 이후 효과가 멈추고 때로는 악화(과잉 사고)
- 이 관점이 불충실한 사고 사슬(unfaithful CoT)과 보상 해킹(reward hacking) 현상을 설명하는 데 도움
향후 전망
- 추론 모델의 훈련·평가에서 "사슬 길이"가 아닌 "경로 탐색 성공 확률" 관점의 새로운 지표·방법론이 주목받을 전망
- 보상 해킹과 불충실한 추론을 경로 탐색 실패·편향의 문제로 재해석하는 후속 연구가 이어질 가능성
출처:Alex Wang (Hacker News)
