AI 요약
최신 Claude 모델(Opus 4.8, Sonnet 5)이 이전 모델보다 특정 툴 호출 스키마를 더 잘못 생성하는 역설적 현상을 분석한 글이다. 특히 Pi의 edit 툴을 호출할 때 스키마에 없는 필드를 임의로 추가하여 호출이 거부되는 문제가 발생한다. 저자는 이 현상이 LLM의 툴 호출이 단순한 인밴드 시그널링에 의존하기 때문이며, 최신 모델이 더 복잡한 패턴을 학습하면서 오히려 특정 형식에서 실수가 증가할 수 있다고 설명한다.
핵심 포인트
- Opus 4.8과 Sonnet 5는 edit 툴 호출 시 허구의 키를 추가하는 반면, 이전 모델은 이 문제를 보이지 않음
- LLM 툴 호출은 XML 유사 마커와 JSON 직렬화를 사용하는 인밴드 시그널링 방식으로 작동
- 문법 인식 디코딩(grammar-aware decoding)을 사용하면 모델이 허용되지 않은 토큰을 생성하지 못하도록 제한 가능
- Fable 모델은 의도적으로 테스트하지 않았는데, 분류기가 사용자를 Opus로 다운그레이드할 가능성 때문
향후 전망
- 모델 성능 향상이 특정 도구 호출 정확성을 오히려 저하시키는 현상은, LLM 평가 방식에 대한 근본적인 재검토 필요성 시사
출처:hackernews