AI 요약
2026년 9월, 실제 기업의 비공개 프로덕션 코드베이스에서 프런티어 AI 모델을 평가하는 새로운 벤치마크 "Real-SWE"가 공개되었다. 각 과제는 실제 기업에서 라이선스한 비공개 코드베이스에서 나온 것으로, 엔지니어들이 실제로 다루는 문제와 그 복잡성을 그대로 담고 있다. 평가 결과 Fable 5.1(Claude Code)이 38.8%의 해결률로 1위를 차지했고, GPT-6 Astra(Codex CLI) 33.8%, Gemini 3.8 Flash(Gemini CLI) 31.2%가 뒤를 이었다.
핵심 포인트
- Real-SWE는 비공개 코드베이스, 비즈니스 영향(청구·세금·고객 마이그레이션), 회사별 관례라는 세 가지 축에서 기존 벤치마크와 차별화된다.
- 해결률은 pass@1 기준으로 과제당 8회 독립 실행 평균이며, 95% 신뢰구간이 제시되었다.
- 상위 8개 모델 순위: Fable 5.1(38.8%), GPT-6 Astra(33.8%), Gemini 3.8 Flash(31.2%), GLM 5.3(28.8%), Grok 4.6·Muse Spark 1.3(각 23.8%), Kimi K3(18.8%), GPT-5.6 Sol(16.2%).
- 전문가 제작 또는 합성 과제는 잘 설계될 수 있지만, 실제 기업 엔지니어가 수행하는 그대로의 과제는 아니라는 점을 강조한다.
향후 전망
- 실제 기업 코드베이스 기반 평가가 확산되면 AI 코딩 에이전트의 실무 적용 가능성을 더 현실적으로 가늠할 수 있을 전망이다.
- 현재 최고 해결률이 40% 미만인 만큼, 프런티어 모델들이 실제 엔터프라이즈 환경에서 완전한 자율성을 갖추기까지는 상당한 개선이 필요할 것으로 보인다.
출처:hackernews