최첨단 AI 모델, 물리학 문제는 얼마나 잘 풀까?

AI 요약

최신 물리학 벤치마크에서 프런티어 언어 모델들이 낮은 점수를 받는 것은 실제 모델의 물리 추론 능력 부족이 아니라 벤치마크 자체의 결함 때문이라는 연구 결과가 발표됐다. 전문가들이 6개 주요 물리 벤치마크를 재검토한 결과, 오답으로 채점된 대부분의 사례가 채점 오류, 잘못된 참조 해법, 모호하거나 불충분한 문제 정의에서 비롯된 것으로 나타났다. 오류를 수정한 후 GPT-5.6-Sol의 HLE-Physics 평균 점수는 47.3%에서 78.7%로, CMT-Benchmark는 61.0%에서 87.2%로 상승했으며, CritPt의 54개 유지 과제에서는 pass@4가 94.4%에 도달했다. UGPhysics, PRISM-Physics, PHYBench에서도 수정 후 점수가 크게 올라, 현재 벤치마크가 프런티어 모델의 실제 물리 문제 해결 능력을 상당히 과소평가하고 있음이 드러났다.

핵심 포인트

• 6개 주요 물리 벤치마크를 전문가가 재검토한 결과, 대부분의 오답이 채점 오류·잘못된 참조 해법·모호한 문제 정의 때문으로 확인
• GPT-5.6-Sol의 HLE-Physics 평균 점수 47.3% → 78.7%, CMT-Benchmark 61.0% → 87.2%로 상승
• CritPt의 54개 유지 과제에서 수정 후 pass@4가 94.4%에 도달
• UGPhysics, PRISM-Physics, PHYBench에서도 수정 후 점수 대폭 상승

향후 전망

• 폐쇄형 물리 벤치마크의 포화가 임박해, 향후에는 더 엄밀하게 검증된 새로운 평가 체계가 필요할 전망
• 벤치마크 신뢰성 문제가 AI 평가 전반의 주요 이슈로 부각되며, 전문가 검수 기반 평가 방법론이 확산될 가능성