AI 요약
PrismML이 Qwen3.8 27B 기반의 Ternary Bonsai 2 27B 모델을 공개했다. 삼진(ternary) {-1, 0, +1} 가중치와 FP16 그룹 스케일링을 적용해 가중치당 유효 1.76비트, 총 모델 크기 5.9GB를 달성했다. 원본 대비 9배 이상 작으면서도 벤치마크 성능의 98.2%를 유지하며, 262K 토큰 컨텍스트와 멀티모달 텍스트·이미지 입력을 지원한다. Apache 2.0 라이선스로 공개됐다.
핵심 포인트
- 삼진 가중치 + FP16 그룹 스케일링으로 가중치당 1.76비트, 총 5.9GB 모델 구현
- 원본 Qwen3.8 27B 대비 9배 이상 작으면서 종합 벤치마크 성능 98.2% 유지 (종합 점수 83.9)
- NVIDIA RTX 5090에서 최대 143 tokens/s, M5 Max에서 46.8 tokens/s 달성
- RTX 4090에서 0.714 mWh/token 소비로 풀프리시전 8B 모델보다 40% 더 에너지 효율적
향후 전망
- 로컬 기기에서 코딩 에이전트, 컴퓨터 사용 워크플로, 프라이빗 문서 분석 등 실질적 지식 작업 수행 가능성 확대
- 민감·고빈도 작업은 로컬에서, 필요 시 클라우드로 에스컬레이션하는 하이브리드 오케스트레이션 패턴이 주류화될 전망
출처:hackernews