세금 업무에 AI 에이전트 투입…실무 평가 결과는?

“Surge AI가 세무 실무용 AI 에이전트 벤치마크 DAYJOB: Tax를 공개했으며, 8개 세무 영역에 걸친 50개 환경으로 구성된다. 리더보드에서는 Claude Sonnet 5.5가 10.8% 통과율로 1위, Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%로 뒤를 이었고, 95% 루브릭 기준 pass@1로 평가됐다. 사례에서는 Astra가 5회 모두 주거요건 마감 시한을 놓친 반면 Opus는 5회 모두 식별했다.”

AI 요약

Surge AI가 전문 세무 업무에서 AI 에이전트의 실무 판단력을 평가하는 벤치마크 'DAYJOB: Tax'를 공개했다. 세무 준비·컴플라이언스·자문 등 8개 분야 50개 환경으로 구성되며, 단순 계산을 넘어 조사 대상 판단, 상충 증거 해결, 정보 부족 인식 같은 전문적 판단력을 시험한다. 리더보드에서는 Claude Sonnet 5.5가 10.8% 통과율로 1위, Fable 5.1이 9.6%, Opus 5.5가 9.2%로 뒤를 이었다. 사례에서는 에이전트가 거주 요건 마감 시한(2027년 8월경)을 놓쳐 최대 25만 달러 절세 기회를 위협하는 조언을 한 반면, Opus는 5회 모두 이를 포착했다.

핵심 포인트

  • DAYJOB: Tax는 8개 세무 분야, 50개 환경으로 구성
  • 95% 루브릭 기준 pass@1에서 Claude Sonnet 5.5가 10.8%로 최고 기록
  • 거주 요건 관련 25만 달러 절세 마감 시한을 Astra는 5회 모두 놓치고 Opus는 5회 모두 식별
  • 성능 대비 비용 파레토 프런티어에서 Sonnet 5.5와 Opus 5.5가 고성능 구간 차지

향후 전망

  • 세무·회계 등 고위험 전문 영역에서 AI 에이전트의 '암묵적 쟁점 포착' 능력이 핵심 평가축으로 부상
  • 벤치마크 확장(의료·금융에 이어 세무)으로 전문직 자동화 수준 비교가 본격화될 전망
출처:hackernews
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...