AI 요약
Anthropic의 새로운 Sonnet 5 모델을 실제 벤치마크로 평가한 결과, 가격은 이전 Sonnet 모델 수준이지만 품질은 기대에 미치지 못하는 중간 수준으로 나타났다. Claire Vo는 5개 모델(GPT-5.5, Sonnet 4.6, Sonnet 5, Opus 4.8, Gemini 3 Pro)을 대상으로 64회 생성 실험을 진행했으며, 인간의 직관적 평가가 LLM 기반 평가보다 더 유용했다고 결론 내렸다. 특히 LLM 평가자는 너무 관대하고 중간 점수에 몰리는 경향이 있어, 시각적으로 바로 발견되는 프로토타입 오류를 놓치는 경우가 많았다.
핵심 포인트
- Sonnet 5 가격: 입력 토큰당 $2/백만, 출력 토큰당 $10/백만 (여름까지)
- Claire의 개인 선호도 순위에서 Sonnet 5는 하위권에 위치
- LLM-as-judge 평가는 인간의 시각적 판단보다 너무 관대하고 중간값에 집중되는 경향
- Claude Code가 과거 세션 기록을 읽고 개인화된 벤치마크 아이디어 생성 가능
향후 전망
- 반복 가능한 벤치마크(How I AI Bench)의 중요성 증가, 단순 분위기 평가보다 신뢰성 있는 모델 비교 필요
- 인간의 취향과 직관적 평가가 AI 모델 선정에서 여전히 핵심적 역할을 할 것
출처:Lenny's Newsletter