AI 요약
오픈소스 AI 프로젝트 'Ollaya'가 로컬 환경에서 결정 모델(decision model)을 실행하는 새로운 플랫폼을 선보였다. Ollaya는 텍스트나 JSON에 대해 타입이 지정된 질문을 던지면 밀리초 단위로 보정된 답변을 반환하며, 토큰 단위 생성 없이 단일 순전파(single forward pass)로 답한다. RTX 4090에서 5개 질문 요청이 HTTP API를 통해 약 8~10ms 만에 처리되며, TypeSafe의 API와 드롭인 호환이 가능해 공식 Python SDK 0.7.1을 그대로 사용할 수 있다. Convai Innovations의 Laya(영어·100개 이상 언어 지원), Mapika의 decider, Moritz Laurer의 nli 등 다양한 오픈 웨이트 모델을 제공한다.
핵심 포인트
- Ollaya, 단일 순전파로 밀리초 단위 결정 답변 제공… RTX 4090에서 5개 질문 요청 약 8~10ms 처리
- TypeSafe API와 드롭인 호환(/v1/systemone, /v1/models), 공식 Python SDK 0.7.1 그대로 사용 가능
- Laya(322m·421m, 영어 및 100개 이상 언어), decider(0.75b·1.9b), nli 등 오픈 웨이트 모델 제공
- 호스팅 API TypeSafe Jev는 중앙값 236~276ms로, Ollaya가 약 30배 빠른 지연시간 기록
향후 전망
- 프라이버시를 중시하는 기업·개발자들이 자체 하드웨어에서 결정 모델을 실행하는 수요가 증가할 전망
- 오픈소스 결정 모델 생태계가 확장되며 실시간 분류·라우팅·의사결정 자동화 분야에 활용이 확대될 것으로 예상
출처:hackernews