AI 요약
AI 코딩 에이전트의 장시간 자율 과제 수행으로 예상치 못한 '청구서 폭탄'을 맞은 기업들이 AI 모델 라우터 도입에 열광하고 있다. 조사 대상 기업의 62%가 지난 1년간 예상치 못한 AI 지출로 경영 의사결정을 수정했으며, 40%는 이사회 안건으로 상정될 정도였다. AI 모델 라우터는 모든 요청을 가장 비싼 프론티어 모델로 보낼 필요 없이 작업 단계별로 비용·속도·성능의 최적 조합을 제공하는 모델을 선택하는 방식으로, 추론 비용을 최대 30%까지 절감할 수 있다. 오픈라우터, 낫다이아몬드, 라이트LLM 등 다양한 스타트업이 시장에 진입했으며, 세일즈포스와 데이터브릭스 같은 대형 솔루션 기업들도 라우팅 기능을 탑재하고 있다.
핵심 포인트
- 조사 대상 기업 62%가 예상치 못한 AI 지출로 경영 의사결정 수정, 40%는 이사회 안건 상정
- AI 모델 라우터 도입 시 추론 비용 최대 30% 절감 가능
- 오픈라우터(OpenRouter), 스트라이프와 최대 100억 달러 기업가치로 인수 협상 진행 중
- 낫다이아몬드(Not Diamond)는 로보틱스에 비유한 자동 모델 라우팅 시스템 제공
향후 전망
- 라우팅 판단 기준이 단순 모델 선택을 넘어 신뢰성, 규제 준수, 거버넌스, 비즈니스 성과로 확장될 전망
- AI 토큰 비용이 모든 기업의 운영비용(OpEx)에서 거대한 비중을 차지할 것이라는 전망