집에서 직접 학습시킨 Jeff, Jev 호환 0.8B 의사결정 모델… 추론 속도 약 30ms

AI 요약

집에서 직접 학습시킨 Jeff는 Jev와 호환되는 0.8B 및 2B 규모의 제로샷 분류용 의사결정 모델이다. 상황과 선택지를 자연어로 설명하면 단일 포워드 패스로 각 선택지에 대한 보정된 확률을 반환하며, RTX PRO 6000에서 약 22ms, Apple M4 Max(MLX)에서 약 28ms의 추론 속도를 보인다. 모든 학습이 로컬 하드웨어에서 이루어졌고, 합성 훈련 데이터는 오픈 모델로 작성됐다.

핵심 포인트

• Jeff-Qwen3.5-0.8B, 2B, Jeff-Gemma4-E2B 모델 공개
• RTX PRO 6000에서 약 22ms, Apple M4 Max에서 약 28ms 추론 속도
• 0.8B는 약 2시간, 2B는 약 3.5시간 만에 단일 GPU로 학습
• 음성 내비게이션 파인튜닝으로 정확도 31.7%→95.8% 향상(30분 이내)
• 선택(choice), 예/아니오(noul), 점수(score) 세 가지 질문 유형 지원

향후 전망

• 소형 의사결정 모델의 로컬 배포 및 파인튜닝 수요 증가
• Jev 호환 생태계 확장 가능성