AI 요약
Qwen3.8 27B 모델의 다양한 양자화 버전(BF16, Q8_0, Q4_K_M, UD-Q2_K_XL, UD-IQ1_S)을 GPQA Diamond, IFBench, Terminal-Bench 2.1 벤치마크에서 비교 테스트한 결과가 공개되었다. 4비트 양자화(Q4_K_M, 17GB)는 풀 모델(BF16, 55GB)과 동등한 성능을 보여 RTX 4090 같은 24GB 카드에서 실행 가능하지만, 1비트 양자화(UD-IQ1_S, 6.2GB)는 GPQA Diamond에서 랜덤 추측 수준으로 성능이 붕괴되는 것으로 나타났다. 추론 노력(reasoning effort) 설정이 결과에 큰 영향을 미치는 것도 확인되었다.
핵심 포인트
- Q4_K_M(17GB)은 Terminal-Bench 2.1에서 BF16 풀 모델과 동등한 성능, 24GB GPU에서 64K 토큰 컨텍스트 실행 가능
- 1비트 UD-IQ1_S(6.2GB)는 GPQA Diamond에서 랜덤 추측 수준으로 성능 붕괴, 긴 추론이 오히려 성능 저하
- 2비트 UD-Q2_K_XL(10.7GB)은 중간 수준의 성능 유지
- 테스트에 약 $3,000의 Modal GPU 비용 소요, Unsloth 양자화 v2/v3 사용
향후 전망
- 4비트 양자화가 컨슈머 하드웨어에서 풀 모델과 유사한 성능을 내는 실용적 선택지로 자리잡을 전망
- 1비트 양자화는 메모리 절감 효과가 크지만 실용적 사용이 어려워, 향후 더 정교한 저비트 양자화 기법 개발이 필요할 것으로 보임
출처:hackernews