에코, 오픈웨이트 모델로 페이블급 성능…비용은 3분의 1

에코(Echo)는 여러 오픈웨이트 모델을 조합해 각 요청에 최적의 연산 할당과 모델 조합을 결정하는 시스템으로, 최고 개별 모델보다 일관되게 높은 성능을 보였다. 페이블(Fable)급 성능을 약 3분의 1 비용으로 달성했으며, 채팅 인터페이스와 OpenAI 호환 API를 제공한다. 현재 코딩 및 에이전트 작업에서의 성능을 추가 테스트 중이다.

AI 요약

Echo는 여러 오픈웨이트 AI 모델을 조합하여 각 요청에 최적의 연산 자원과 모델을 동적으로 할당하는 시스템이다. 개발자는 단일 최고 성능 모델보다 일관되게 우수한 성능을 보였으며, 비교 대상인 Fable급 성능을 약 3분의 1의 추론 비용으로 달성했다고 밝혔다. 현재 채팅 인터페이스와 OpenAI 호환 API가 공개되어 있으며, 코딩 및 에이전트 작업에서의 성능 검증과 할당 오류 분석이 진행 중이다.

핵심 포인트

  • Echo는 각 요청에 따라 참여 모델과 연산량을 동적으로 결정하는 앙상블 시스템
  • 단일 최고 모델보다 일관되게 높은 성능, Fable급 성능을 약 1/3 비용으로 달성
  • 전반적으로 약한 모델도 특정 문제에서는 매우 유용하게 기여하는 상호보완적 특성 발견
  • 현재 7개 벤치마크 패밀리, 907개 저장 행(row) 기반 평가 데이터 공개

향후 전망

  • 코딩 및 에이전틱 태스크로 평가 확장, 할당 오류 분석을 통한 시스템 고도화 예정
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...