SlopCodeBench 10/2026 – Opus 5.5, Astra 종합 우승… xhigh는 오히려 독

“2026년 10월 SlopCodeBench에서 gpt-6 Astra가 strict 통과율 16.3%로 1위를 차지했고, Opus 5.5·Fable 5.1·SOL 6/6.1·GLM 5.3은 12.2~16.3% 범위에 머물렀다(5월 gpt-5.5는 14.8%). 36개 문제·196개 체크포인트로 확대한 이번 평가에서 medium effort가 XHigh보다 우수했으며, XHigh는 medium 대비 2.11~4.22배 비용이 들고 Opus 5.5는 medium에서 더 좋은 성적을 냈다.”

AI 요약

SlopCodeBench 2026년 10월 업데이트에서 gpt-6 Astra가 16.3%의 strict 통과율로 최고 점수를 기록했으며, Opus 5.5와 Fable 5.1, SOL 6/6.1, GLM 5.3 등이 12.2~16.3% 범위에 들었다. 이번 평가는 36개 문제와 196개 체크포인트로 구성됐으며, strict 통과율은 모든 테스트와 회귀 테스트를 통과한 체크포인트 비율을 뜻한다. 특히 medium effort가 XHigh보다 우수한 성능을 보였는데, XHigh는 medium 대비 2.11~4.22배 비용이 들면서도 Opus 5.5는 medium에서 더 좋은 결과를 냈다. 벤치마크는 단계별로 요구사항이 변화하는 실제 소프트웨어 개발 방식을 반영한다.

핵심 포인트

  • gpt-6 Astra strict 통과율 16.3%로 최고, 5월 gpt-5.5의 14.8% 대비 상승
  • 36개 문제·196개 체크포인트, strict 통과율 12.2~16.3% 범위
  • XHigh는 medium 대비 2.11~4.22배 비용, Opus 5.5는 medium이 더 우수
  • core 통과율은 65.8~74.0%로 상대적으로 높음

향후 전망

  • Part II에서 slop 패턴에 대한 정성적 심층 분석 공개 예정
  • 고비용 추론 설정의 효율성 재검토 및 effort 최적화 연구 촉진
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...