각 모델에 가장 적합한 하네스는?

“Baseten과 협력해 83B 토큰, 27,280개 에이전트 실행으로 22개 하네스×5개 모델×62개 과제를 평가한 FrontierHarness v1.1 결과, 모델 교체 시 하네스도 바꾸는 것이 유리했다. 모델별 최적 하네스는 GLM-5.3에 Codex CLI, DeepSeek V4.1 Flash 1017에 ZCode, Kimi-K3에 Alma 등이었고, 과제당 비용 순위는 모델 간 중앙값 11계단 이동했으며 Codex CLI는 GLM-5.3에서 1위, Kimi-K3에서 16위로 떨어졌다.”

AI 요약

Runta가 Baseten과 협력해 830억 토큰, 27,280회 에이전트 실행 규모의 하네스 리더보드 FrontierHarness Eval v1.1을 공개했다. 22개 하네스 구성 × 5개 모델 × 62개 태스크 × 4회 시도로 v1.0 대비 76배 확장됐다. 결론은 모델을 바꿀 때 하네스도 함께 바꿔야 한다는 것으로, 모델별 최적 하네스가 각각 달랐다. 비용 순위도 모델에 따라 크게 요동쳐 중앙값 기준 22개 중 11개 순위가 이동했고, Codex CLI는 GLM-5.3에서 1위였으나 Kimi-K3에서는 16위로 추락했다.

핵심 포인트

  • 830억 토큰, 27,280회 실행, 22개 하네스 구성 × 5개 모델 × 62개 태스크 × 4회 시도
  • 모델별 최적 하네스: Codex CLI(GLM-5.3), Pi(GLM-5.3 Flash), ZCode(DeepSeek V4.1 Flash 1017), Oh My Pi(Muse), Alma(Kimi-K3)
  • 전체 최전선: OpenCode v2(태스크당 최저 $0.561), Pi, Codex CLI, ZCode(최고 통과율 61.9%)
  • Codex CLI 비용 순위 GLM-5.3 1위 → Kimi-K3 16위, 중앙값 기준 11/22 순위 변동

향후 전망

  • 모델 교체 시 하네스 재평가가 표준 관행으로 정착할 가능성
  • 하네스-모델 조합별 비용 효율 최적화가 에이전트 운영의 핵심 지표로 부상
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...