AI 요약
Surge AI가 전문 세무 업무에서 AI 에이전트의 실무 판단력을 평가하는 벤치마크 'DAYJOB: Tax'를 공개했다. 세무 준비·컴플라이언스·자문 등 8개 분야 50개 환경으로 구성되며, 단순 계산을 넘어 조사 대상 판단, 상충 증거 해결, 정보 부족 인식 같은 전문적 판단력을 시험한다. 리더보드에서는 Claude Sonnet 5.5가 10.8% 통과율로 1위, Fable 5.1이 9.6%, Opus 5.5가 9.2%로 뒤를 이었다. 사례에서는 에이전트가 거주 요건 마감 시한(2027년 8월경)을 놓쳐 최대 25만 달러 절세 기회를 위협하는 조언을 한 반면, Opus는 5회 모두 이를 포착했다.
핵심 포인트
- DAYJOB: Tax는 8개 세무 분야, 50개 환경으로 구성
- 95% 루브릭 기준 pass@1에서 Claude Sonnet 5.5가 10.8%로 최고 기록
- 거주 요건 관련 25만 달러 절세 마감 시한을 Astra는 5회 모두 놓치고 Opus는 5회 모두 식별
- 성능 대비 비용 파레토 프런티어에서 Sonnet 5.5와 Opus 5.5가 고성능 구간 차지
향후 전망
- 세무·회계 등 고위험 전문 영역에서 AI 에이전트의 '암묵적 쟁점 포착' 능력이 핵심 평가축으로 부상
- 벤치마크 확장(의료·금융에 이어 세무)으로 전문직 자동화 수준 비교가 본격화될 전망
출처:hackernews
