AI 요약
프린스턴대 연구진이 'AI 과학자'의 연구 자동화 능력을 평가한 결과, AI가 아직 개방형 연구를 완전히 대체할 수준은 아니라는 결론을 내렸다. 연구진은 AI 시스템이 실험 설계와 실행 같은 엔지니어링 작업에서는 놀라운 성과를 보였지만, 진정한 학문적 돌파구 창출에는 한계가 있다고 분석했다. 특히 기존 동료평가(peer review) 대신 원저자들이 직접 AI 산출물을 검증하는 '섀도우 평가' 방식을 도입해 더 엄격한 기준을 적용했다. AI는 주어진 연구 방향을 따라 실험을 수행했지만, 창의적 문제 발견과 이론적 혁신은 여전히 인간의 몫으로 남았다.
핵심 포인트
- 프린스턴대 사야시 카푸어 연구팀이 arXiv에 발표한 연구로 AI의 자동 연구 능력을 평가
- AI 시스템은 6일간 3,000달러 상당의 컴퓨팅 크레딧으로 챗봇 성격 제어와 신경망 오류 감지기 설계 과제 수행
- 사카나 AI의 'The AI Scientist'가 2024년 공개 후 3편의 논문을 컨퍼런스에 제출, 1편이 채택됨
- 카푸어는 "개방형 연구의 완전 자동화는 현재 시점에서 가능하지 않다"고 결론
향후 전망
- AI는 기존 기술 최적화와 실험 실행에는 유용하지만, 연구 방향 설정과 이론 혁신은 인간의 역할로 남을 것
- '섀도우 평가' 방식이 향후 AI 연구 품질 검증의 새로운 표준으로 자리잡을 가능성