AI 요약
Runta가 Baseten과 협력해 830억 토큰, 27,280회 에이전트 실행 규모의 하네스 리더보드 FrontierHarness Eval v1.1을 공개했다. 22개 하네스 구성 × 5개 모델 × 62개 태스크 × 4회 시도로 v1.0 대비 76배 확장됐다. 결론은 모델을 바꿀 때 하네스도 함께 바꿔야 한다는 것으로, 모델별 최적 하네스가 각각 달랐다. 비용 순위도 모델에 따라 크게 요동쳐 중앙값 기준 22개 중 11개 순위가 이동했고, Codex CLI는 GLM-5.3에서 1위였으나 Kimi-K3에서는 16위로 추락했다.
핵심 포인트
- 830억 토큰, 27,280회 실행, 22개 하네스 구성 × 5개 모델 × 62개 태스크 × 4회 시도
- 모델별 최적 하네스: Codex CLI(GLM-5.3), Pi(GLM-5.3 Flash), ZCode(DeepSeek V4.1 Flash 1017), Oh My Pi(Muse), Alma(Kimi-K3)
- 전체 최전선: OpenCode v2(태스크당 최저 $0.561), Pi, Codex CLI, ZCode(최고 통과율 61.9%)
- Codex CLI 비용 순위 GLM-5.3 1위 → Kimi-K3 16위, 중앙값 기준 11/22 순위 변동
향후 전망
- 모델 교체 시 하네스 재평가가 표준 관행으로 정착할 가능성
- 하네스-모델 조합별 비용 효율 최적화가 에이전트 운영의 핵심 지표로 부상
출처:hackernews
