AI 요약
보니사이 27B는 Qwen3.6 27B를 기반으로 한 멀티모달 AI 모델로, 1비트와 3진법 가중치를 활용해 스마트폰에서 구동 가능한 최초의 270억 파라미터급 모델이다. 1비트 변형은 3.9GB, 3진법 변형은 5.9GB로 각각 아이폰 17 프로와 일반 노트북에서 실행 가능하며, 추론·도구 호출·비전 작업 등 에이전트 기능을 지원한다. 전체 정밀도 대비 90~95% 성능을 유지하면서도 메모리 사용량은 2B 모델 수준으로 줄였으며, Apache 2.0 라이선스로 공개되었다.
핵심 포인트
- 1비트 Bonsai 27B: 1.125 유효 비트/가중치, 3.9GB, 아이폰 17 Pro에서 구동
- 3진법 Bonsai 27B: 1.71 유효 비트/가중치, 5.9GB, 일반 노트북에서 구동
- 262K 토큰 컨텍스트 지원, 추측 디코딩(Speculative Decoding)으로 속도 향상
- 15개 벤치마크에서 1비트 90%, 3진법 95% 정밀도 유지
향후 전망
- 스마트폰에서 대규모 AI 모델의 로컬 실행이 보편화되어 클라우드 의존도가 낮아질 가능성
- 지능 밀도(Intelligence Density) 개념이 AI 모델 평가의 새로운 기준으로 자리잡을 전망
출처:hackernews