AI 요약
구글 리서치의 새로운 연구에 따르면, 최첨단 LLM(Gemini3, GPT-5 등)의 사실 오류는 사실을 "인코딩하지 못해서"가 아니라 "인코딩했지만 회상(recall)하지 못해서" 발생하는 경우가 대부분이다. 연구팀은 지식 프로파일링(Knowledge Profiling)이라는 행동 프레임워크를 도입해 인코딩과 회상을 별도로 측정했으며, 2,150개의 위키피디아 사실로 구성된 WikiProfile 벤치마크를 공개했다. 이는 "빈 선반(인코딩 실패)"보다 "잃어버린 열쇠(회상 실패)"가 사실성 병목의 핵심임을 보여준다.
핵심 포인트
- 2,150개의 위키피디아 기반 사실로 구성된 WikiProfile 벤치마크 구축, 각 사실당 10개의 질문으로 인코딩·회상·인지(recognition)를 측정
- 5가지 지식 프로파일 분류: 인코딩 실패, 회상 실패, 직접 회상, 사고를 통한 회상, 인코딩 없는 추론
- 인코딩 실패는 모델 크기 확대나 데이터 확장이 필요하지만, 회상 실패는 포스트 트레이닝 및 추론 시점 기법으로 개선 가능
- 회상 실패는 사고 연쇄(chain-of-thought) 프롬프팅이나 thinking 최적화 LLM으로 개선될 수 있음
향후 전망
- 회상 실패가 병목이라는 발견은 포스트 트레이닝과 추론 시점 최적화에 대한 투자를 정당화
- 지식 프로파일링이 LLM 사실성 평가의 새로운 표준으로 자리잡을 가능성