AI 요약
양자화 컴파일러 "LookAtMyQuant"가 모델의 각 저장 요소가 압축 시 출력에 미치는 손해를 측정해, 주어진 크기 예산 내에서 최소 손상으로 코드를 배정하는 방식으로 개발됐다. Gemma 4 E2B에서 동일 파일 크기 대비 Q4_K_M보다 12배 낮은 KL을 달성했고, Qwen3.5-4B를 1.23GB(가중치당 2.3비트)로 압축해 540개 수학 문제 중 330개를 풀었다. Qwen3.8-27B는 53.7GB에서 7.2GB(2.1비트)로 압축해 원본과 동일한 401/540 문제를 풀었고 HumanEval·MMLU·GSM8K에서 Unsloth GGUF를 앞섰다. 26.4B 물리/5.4B 활성 3×루프 MoE인 Inkling-2-Mini는 18.89GB에서 5.38GB(1.63비트)와 8.87GB(2.69비트)로 압축됐다. 코드는 MIT 라이선스로 공개됐다.
핵심 포인트
- Gemma 4 E2B에서 동일 크기 Q4_K_M 대비 GGUF의 KL 12배 낮음
- Qwen3.5-4B를 1.23GB(2.3비트/가중치)로 압축, 540문제 중 330개 정답(Bonsai 2 Ternary 4B는 328개, 원본 359개)
- Qwen3.8-27B를 53.7GB→7.2GB(2.1비트)로 압축, 401/540 정답으로 원본과 동일하며 HumanEval 73.8% vs 67.1%, MMLU 78.8% vs 75.0%, GSM8K 94.5% vs 92.7%로 Unsloth UD-IQ2_XXS 능가
- Inkling-2-Mini(26.4B 물리/5.4B 활성 MoE)를 18.89GB→5.38GB(1.63비트)/8.87GB(2.69비트)로 압축, 4KB SRAM 해시 블록-벡터 트렐리스 코드(ht2/ht3) 등 사용
- 레시피 비용은 GPU 시간 약 34달러
향후 전망
- 트렐리스 코드·Fisher 정보 기반 비트 배분·증류를 결합한 레시피가 오픈소스 양자화 표준으로 확산될 가능성
- Apple Silicon 런타임용 패키징과 드래프터 결합으로 온디바이스 대형 모델 배포가 가속화될 전망
