회상적 사고: LLM이 파라메트릭 지식을 활용하는 추론 과정

AI 요약

Google Research 연구진은 LLM이 단순한 사실 질문에 답할 때도 추론(reasoning) 과정이 도움이 되는 현상을 분석했다. 복잡한 단계가 필요 없는 단일 사실 질문에서도 추론을 활성화하면 모델이 파라메트릭 지식을 더 잘 활용할 수 있다는 것을 발견했다. 이 현상은 생성된 추론 토큰을 잠재 계산에 활용하는 '계산 버퍼 효과'와 관련 사실을 생성하여 정답 회상을 촉진하는 '사실적 프라이밍'이라는 두 가지 메커니즘으로 설명된다.

핵심 포인트

• Gemini 2.5(Flash, Pro)와 Qwen3-32B 모델을 사용하여 실험 진행
• SimpleQA Verified와 EntityQuestions 데이터셋에서 추론 활성화 시 정답 회상률(pass@k) 크게 향상
• 추론이 없으면 회상이 거의 불가능한 사실들도 추론 활성화 시 성공적으로 회상
• 두 가지 메커니즘: (1) 생성된 추론 토큰을 통한 잠재 계산, (2) 관련 사실 생성을 통한 정답 프라이밍

향후 전망

• LLM의 단순 사실 회상 능력 향상을 위해 추론 과정을 활용하는 새로운 프롬프트 설계 방법론이 발전할 것