AI 요약
엔비디아(Nvidia)가 발표한 연구에 따르면, AI 모델 자체보다 모델을 둘러싼 '하네스(harness)'—도구, 메모리 관리, 규칙 등 소프트웨어 래퍼—가 장기 과제(long-horizon tasks) 수행에 훨씬 중요한 역할을 한다. 엔비디아 연구진은 메모리 관리와 '슈퍼바이저' 구성 요소를 갖춘 맞춤형 하네스를 사용해 클로드 오퍼스 5(Claude Opus 5)의 ARC-AGI-3 벤치마크 점수를 30%에서 100%로 끌어올렸다. 이는 오픈AI가 자체 모델의 저조한 점수(10% 미만)에 당황해 자체 연구를 진행했던 것과 대비되는 결과다. 하네스는 모델의 메모리, 맥락, 피드백을 처리해 모델을 실제 에이전트로 작동하게 만드는 핵심 요소로 부상하고 있다.
핵심 포인트
- 엔비디아 연구: 맞춤형 하네스 적용 시 클로드 오퍼스 5의 ARC-AGI-3 점수가 30% → 100%로 상승
- 하네스는 모델 주변의 도구·메모리 관리·규칙을 포함한 소프트웨어 래퍼로, 모델을 에이전트로 전환하는 핵심
- 오픈AI도 하네스 설정 두 가지만 조정해 모델 점수를 3배로 높였지만 100%에는 도달 못함
- 마이크로소프트 연구: 19개 LLM 모두 장기 문서 편집 과제에서 오류 투성이 결과물 생성
향후 전망
- AI 에이전트 경쟁의 초점이 모델 성능에서 하네스·스캐폴딩 설계로 이동할 전망
- 하네스 최적화가 차세대 AI 경쟁력의 핵심 지표가 될 가능성