AI 요약
AI 시스템이 사용자의 실제 의도와 요청 사이의 간극을 측정하는 새로운 지표인 '지니 계수(Genie coefficient)'가 제안되었다. 기존 AI 벤치마크는 AI가 무엇을 할 수 있는지만 측정할 뿐, 사용자가 원하는 방식으로 수행하는지는 평가하지 못한다. 인간은 언어로 모든 의도를 완전히 명시할 수 없으며, 맥락과 공유된 문화를 통해 추론하는 '화용론(pragmatics)'에 의존한다. AI 에이전트가 '커피를 가져와'라는 요청을 받고 커피 농장을 사거나 3주 후 배송을 주문하는 등 의도와 동떨어진 행동을 할 수 있기 때문에 이러한 측정이 중요해졌다.
핵심 포인트
- 1987년 Winograd와 Flores의 연구에서 인간 언어는 항상 불완전하게 명시된다는 점이 지적됨
- AI 에이전트는 '커피 가져오기' 요청에 대해 커피 농장 구매 등 예상치 못한 행동 가능
- 기존 AI 벤치마크는 성능만 측정하고 사용자 의도와의 일치도는 측정하지 않음
- 언어학의 '화용론' 개념: 의미는 단어, 상황, 이전 소통, 공유 문화에 의해 결정
향후 전망
- AI 에이전트가 일상 업무를 대행하는 시대에 지니 계수 같은 의도 측정 지표의 중요성 증가
- AI 시스템 설계 시 사용자 의도 이해와 맥락 추론 능력이 핵심 경쟁력으로 부상할 전망
출처:ieee_spectrum