AI 요약
SlopCodeBench 2026년 10월 업데이트에서 gpt-6 Astra가 16.3%의 strict 통과율로 최고 점수를 기록했으며, Opus 5.5와 Fable 5.1, SOL 6/6.1, GLM 5.3 등이 12.2~16.3% 범위에 들었다. 이번 평가는 36개 문제와 196개 체크포인트로 구성됐으며, strict 통과율은 모든 테스트와 회귀 테스트를 통과한 체크포인트 비율을 뜻한다. 특히 medium effort가 XHigh보다 우수한 성능을 보였는데, XHigh는 medium 대비 2.11~4.22배 비용이 들면서도 Opus 5.5는 medium에서 더 좋은 결과를 냈다. 벤치마크는 단계별로 요구사항이 변화하는 실제 소프트웨어 개발 방식을 반영한다.
핵심 포인트
- gpt-6 Astra strict 통과율 16.3%로 최고, 5월 gpt-5.5의 14.8% 대비 상승
- 36개 문제·196개 체크포인트, strict 통과율 12.2~16.3% 범위
- XHigh는 medium 대비 2.11~4.22배 비용, Opus 5.5는 medium이 더 우수
- core 통과율은 65.8~74.0%로 상대적으로 높음
향후 전망
- Part II에서 slop 패턴에 대한 정성적 심층 분석 공개 예정
- 고비용 추론 설정의 효율성 재검토 및 effort 최적화 연구 촉진
