5.4GB 메모리로 구현한 Inkling-2-Mini

“LookAtMyQuant는 압축 시 출력 손실을 측정해 크기 예산 내 최소 손상이 되도록 양자화 코드를 배정하는 컴파일러로, Gemma 4 E2B에서 동일 파일 크기 대비 Q4_K_M보다 12배 낮은 KL을 달성했습니다. Qwen3.5-4B를 1.23GB(가중치당 2.3비트)로 압축해 540개 수학 문제 중 330개를 풀었고(원본 359개, Bonsai 2 Ternary 4B는 328개), KL은 0.45 nats로 Bonsai의 0.59보다 낮았으며 GPU 비용은 약 34달러였습니다. Qwen3.8-27B는 53.7GB에서 7.2GB(2.1비트)로 압축해 540문제 중 401개를 풀어 원본과 동일했고, HumanEval 73.8%·MMLU 78.8%·GSM8K 94.5%로 동일 크기 Unsloth UD-IQ2_XXS(67.1%·75.0%·92.7%)를 앞섰습니다.”

AI 요약

양자화 컴파일러 "LookAtMyQuant"가 모델의 각 저장 요소가 압축 시 출력에 미치는 손해를 측정해, 주어진 크기 예산 내에서 최소 손상으로 코드를 배정하는 방식으로 개발됐다. Gemma 4 E2B에서 동일 파일 크기 대비 Q4_K_M보다 12배 낮은 KL을 달성했고, Qwen3.5-4B를 1.23GB(가중치당 2.3비트)로 압축해 540개 수학 문제 중 330개를 풀었다. Qwen3.8-27B는 53.7GB에서 7.2GB(2.1비트)로 압축해 원본과 동일한 401/540 문제를 풀었고 HumanEval·MMLU·GSM8K에서 Unsloth GGUF를 앞섰다. 26.4B 물리/5.4B 활성 3×루프 MoE인 Inkling-2-Mini는 18.89GB에서 5.38GB(1.63비트)와 8.87GB(2.69비트)로 압축됐다. 코드는 MIT 라이선스로 공개됐다.

핵심 포인트

  • Gemma 4 E2B에서 동일 크기 Q4_K_M 대비 GGUF의 KL 12배 낮음
  • Qwen3.5-4B를 1.23GB(2.3비트/가중치)로 압축, 540문제 중 330개 정답(Bonsai 2 Ternary 4B는 328개, 원본 359개)
  • Qwen3.8-27B를 53.7GB→7.2GB(2.1비트)로 압축, 401/540 정답으로 원본과 동일하며 HumanEval 73.8% vs 67.1%, MMLU 78.8% vs 75.0%, GSM8K 94.5% vs 92.7%로 Unsloth UD-IQ2_XXS 능가
  • Inkling-2-Mini(26.4B 물리/5.4B 활성 MoE)를 18.89GB→5.38GB(1.63비트)/8.87GB(2.69비트)로 압축, 4KB SRAM 해시 블록-벡터 트렐리스 코드(ht2/ht3) 등 사용
  • 레시피 비용은 GPU 시간 약 34달러

향후 전망

  • 트렐리스 코드·Fisher 정보 기반 비트 배분·증류를 결합한 레시피가 오픈소스 양자화 표준으로 확산될 가능성
  • Apple Silicon 런타임용 패키징과 드래프터 결합으로 온디바이스 대형 모델 배포가 가속화될 전망
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...