AI 요약
Ploy는 자사의 프로덕션 AI 에이전트를 OpenAI의 최신 모델 GPT-5.6 Sol로 업그레이드한 결과, 완료 속도가 2.2배 향상되고 비용은 27% 감소했다고 발표했다. 4개월간 Claude Opus가 최고 모델 자리를 지켰으나, GPT-5.6 Sol이 처음으로 이를 능가했다. 그러나 마이그레이션 과정에서 모델 간 도구 호출 방식, 프롬프트 캐싱, 추론 재생 방식의 차이로 인한 예상치 못한 문제들을 해결해야 했다. 특히 평가 도구(harness)가 기존 모델에 최적화되어 있어 초기 평가 결과의 약 1/3이 모델 문제가 아닌 도구 가정 문제였음이 밝혀졌다.
핵심 포인트
- GPT-5.6 Sol로 업그레이드 후 작업 완료 속도 2.2배 증가, 비용 27% 감소
- Claude Opus 4.8이 4개월간 최고 모델 자리를 유지했으나 GPT-5.6이 처음으로 이를 능가
- 마이그레이션 과정에서 도구 스키마, 캐싱, 추론 재생 방식의 차이로 인한 문제 발견 및 해결
- 초기 평가 실패의 약 1/3은 모델 문제가 아닌 평가 도구의 기존 모델 편향 때문
향후 전망
- AI 모델 간 전환 시 평가 도구의 중립성 유지가 중요해지며, 모델 특성에 맞는 인프라 최적화 필요성 증가
- GPT-5.6의 병렬 도구 호출 능력은 AI 에이전트의 작업 처리 방식을 근본적으로 변화시킬 가능성
출처:Ploy AI Blog