“다들 LLM 라우터 만드는데…” 스타트업의 솔직한 고백, “우린 접었다”

AI 요약

LLM 라우팅 스타트업 매니페스트(Manifest)가 자사의 LLM 라우터를 4개월 만에 폐기했다. 이들은 대부분의 사용 사례에서 단일 검증된 모델을 고수하는 것이 비용 절감과 품질 유지에 더 효과적이라고 주장한다. 라우터가 프롬프트만으로 작업 복잡도를 판단하는 것은 한계가 있으며, 캐시 활용이 라우팅보다 비용 절감에 더 효과적이라고 설명한다. 또한 모델 간 전환은 동작 일관성을 깨뜨리고 예측 불가능성을 높여 유지보수 비용을 증가시킨다고 지적했다.

핵심 포인트

• 매니페스트는 3월 LLM 라우터 출시 후 6월 폐기 결정, 9월 1일 완전 종료
• 7,000명의 클라우드 사용자 대상 4개월 테스트에서 혼합된 결과 확인
• 캐시 읽기는 비캐시 입력 대비 75%~90% 저렴
• 라우터는 프롬프트만으로 작업 복잡도를 판단할 수 없는 구조적 한계 보유

향후 전망

• LLM 라우팅에 대한 회의적 시각이 업계에 확산될 가능성
• 단일 모델 최적화와 캐시 활용 중심의 비용 절감 전략이 주목받을 전망