AI 요약
Claire Vo가 Opus 5.5, GPT-6 Sol, GPT-6 Astra 등을 대상으로 이메일·PRD·프론트엔드 프로토타입·장기 에이전트 작업·SVG·코딩·영상 편집 등 실무 과제에 대한 블라인드 평가를 진행했다. 결과적으로 Astra는 창의적 감각에서, Opus 5.5는 장기 실행 에이전트와 B2B 프론트엔드에서 강세를 보였고, Sol은 명확한 글쓰기와 읽기 쉬운 PRD, 가격 경쟁력에서 우위를 점했다. LLM 심사위원이 평가자의 순위와 불일치하는 흥미로운 결과도 나왔으며, 3D 패션 게임 "Barbie Bench" 테스트에서는 여전히 개선 여지가 큰 것으로 드러났다.
핵심 포인트
- 2026년 9월 22일 공개된 블라인드 평가로 Opus 5.5, GPT-6 Sol, GPT-6 Astra, Luna 등 비교
- Astra는 창의성, Opus 5.5는 장기 에이전트·B2B 프론트엔드, Sol은 명확한 글쓰기·PRD·가격에서 강점
- 캐릭터 SVG 결과가 사전 예측을 완전히 뒤집는 등 창의적 결과에서 예상 밖 반전 발생
- LLM 심사위원이 인간 평가자 순위와 불일치하며 서로 다른 기준을 보상하는 현상 확인
향후 전망
- 모델별 강점이 뚜렷해 단일 모델이 아닌 작업별 모델 선택 전략이 실무 표준으로 부상
- 영상 편집 등 일부 영역에서는 모델 자체보다 스킬·프롬프트 역량이 결과를 좌우할 가능성
출처:lennys_newsletter