AI 요약
화웨이가 로컬 추론용 모델 비종속 양자화기 MACaQ를 공개했다. 텍스트뿐 아니라 이미지·비디오·오디오 모델까지 llama.cpp, vLLM, Diffusers, PyTorch 백엔드에서 양자화·실행할 수 있다. 122B 파라미터 모델을 32.5GB 디바이스 메모리만으로 64분 만에 양자화할 수 있으며, MR-GPTQ·DuQuant++ 대비 낮은 perplexity를 달성하거나 11배 적은 시간으로 동등 성능을 낸다고 주장한다. Ascend용 W4A4 커널도 CANN PR 형태로 제공된다.
핵심 포인트
- 122B 파라미터 모델을 32.5GB 메모리로 64분 만에 양자화
- llama.cpp(2/3/4비트 GGUF), vLLM(W4A4), Diffusers, PyTorch 등 멀티 백엔드 지원
- MR-GPTQ·DuQuant++ 대비 낮은 perplexity 또는 11배 빠른 양자화 시간 달성
- Ascend용 W4A4 dense/grouped matmul 커널을 CANN PR(ops-nn #12568, ops-tilelang #44)로 공개
향후 전망
- 소비자급 하드웨어에서의 대형 모델 로컬 추론 확산 가속
- 화웨이 Ascend 생태계와의 통합을 통한 자체 추론 스택 강화 가능성
출처:hackernews
