AI 요약
저자는 2025년 3월부터 강화학습(RL) 기반의 비자기회귀(non-autoregressive) 의사결정 모델을 개발해 arXiv 논문, Hugging Face 가중치, 데이터셋, PyPI 패키지까지 공개했다. 그러나 2026년 9월 TypeSafe AI가 논문·가중치·데이터셋 없이 동일 개념의 'Jev'를 신제품처럼 발표하자, 이를 계기로 모든 한계를 개선한 완전 오픈소스 모델 패밀리 'Laya'를 공개했다. Laya는 양방향 인코더 기반으로 단일 GPU에서 32.8ms(배치 시 7.2ms/질문)로 Jev보다 6~8배 빠르며 100개 이상 언어를 지원한다. 생성형 LLM을 단순 반사적 판단에 쓰는 비효율을 지적하며 'System 1' 결정 모델의 필요성을 강조한다.
핵심 포인트
- 2025년 3월 RL 기반 세일즈 전환 예측 모델 개발, arXiv:2503.23303 및 arXiv:2510.01237 발표
- TypeSafe AI(창립자 Diogo Almeida, ChatGPT 공동 발명자)가 2026년 9월 Jev 출시, 입력 100만 토큰당 $0.042, 응답 약 150ms
- Laya는 단일 GPU 32.8ms, 배치 시 7.2ms로 Jev 대비 6~8배 빠르고 Apache 2.0 완전 오픈소스
- 티켓 라우팅, 피싱 탐지, 프롬프트 인젝션 판별 등 단순 구조적 판단에 8B~70B LLM을 쓰는 것은 과잉
향후 전망
- 비자기회귀 System 1 결정 모델이 생성형 LLM 파이프라인의 병목을 대체하는 구조로 확산 가능
- 오픈소스 진영과 폐쇄형 프런티어 랩 간 속도·투명성 경쟁이 심화될 전망
출처:hackernews