AI 요약
Amazon Science의 연구에 따르면, ML 연구 에이전트는 벤치마크에 반복적으로 평가해도 과적합되지 않는다. 이는 동일한 홀드아웃 데이터로 반복 평가하면 과적합될 것이라는 교과서적 예측과 모순된다. 연구진은 성공적인 에이전트 전략이 정보 병목(16개 토큰 수준)을 통과해도 재현 가능하다는 점을 발견했으며, 이는 에이전트가 데이터를 암기한 것이 아니라 실제 구조를 학습했음을 시사한다.
핵심 포인트
- ML 연구 에이전트는 반복 평가 후에도 벤치마크에 과적합되지 않음
- 성공 전략을 16개 토큰으로 압축해도 새 에이전트가 동일 성능 재현
- 진짜 과적합 전략은 압축 테스트를 통과하지 못하고 이득이 사라짐
- LLM은 방대한 세계 지식을 가진 강력한 압축 디코더로, 전문가 수준의 축약 프롬프트로 전체 ML 파이프라인 재구성 가능
향후 전망
- 압축 테스트가 과적합 진단 도구로 실무에 활용될 가능성
- LLM 기반 연구 에이전트의 일반화 능력에 대한 이론적 이해 심화