AI 요약
Epoch AI는 AI가 인간 연구자에 준하는 새로운 머신러닝 기법을 독자적으로 발견할 수 있는지 측정하는 "InnovationEval"을 공개했다. 최신 프런티어 모델들은 수천 달러 상당의 GPU 시간을 투입하고도 이 과제에서 거의 진전을 보이지 못했다. 이 평가는 AI가 2026년 초까지의 지식을 바탕으로, 그 이후 인간이 개발한 ML 혁신과 동등한 성능을 내는 기법을 스스로 고안할 수 있는지를 묻는다. 엔드투엔드 검증, 진정한 혁신 요구, 현실적 연구 영역 반영, 실현 가능성 보장이라는 네 가지 이점을 목표로 한다.
핵심 포인트
- InnovationEval은 AI의 독자적 ML 혁신 능력을 측정하는 엔드투엔드 평가로, 최신 프런티어 모델들이 거의 성과를 내지 못함.
- AI는 수천 달러 규모의 GPU 시간을 실험에 소모했음에도 인간 수준의 혁신에 도달하지 못했다.
- 평가는 2026년 초까지의 지식을 기준으로 이후 인간이 이룬 개선을 재현하도록 설계됐다.
- Crux Evals, ResearchGym, RSI-Bench 등 기존 연구와 유사한 엔드투엔드 연구 과제 접근법을 취한다.
향후 전망
- Epoch AI는 이 방법론을 확장·반복하여 AI 연구 자동화 진척도를 추적할 계획이다.
- AI R&D 완전 자동화까지의 격차를 정량화하는 표준 벤치마크로 자리 잡을 가능성이 있다.
출처:hackernews