화웨이, 로컬 추론용 내부 양자화기 MACaQ 공개

“화웨이가 로컬 추론용 내부 양자화기 MACaQ를 공개했다. 122B 파라미터 모델을 32.5GB 디바이스 메모리만으로 64분 만에 양자화하며, MR-GPTQ·DuQuant++보다 낮은 perplexity를 달성하거나 11배 적은 시간으로 동등 성능을 낸다. llama.cpp, vLLM, Diffusers, PyTorch 등 다양한 백엔드를 지원한다.”

AI 요약

화웨이가 로컬 추론용 모델 비종속 양자화기 MACaQ를 공개했다. 텍스트뿐 아니라 이미지·비디오·오디오 모델까지 llama.cpp, vLLM, Diffusers, PyTorch 백엔드에서 양자화·실행할 수 있다. 122B 파라미터 모델을 32.5GB 디바이스 메모리만으로 64분 만에 양자화할 수 있으며, MR-GPTQ·DuQuant++ 대비 낮은 perplexity를 달성하거나 11배 적은 시간으로 동등 성능을 낸다고 주장한다. Ascend용 W4A4 커널도 CANN PR 형태로 제공된다.

핵심 포인트

  • 122B 파라미터 모델을 32.5GB 메모리로 64분 만에 양자화
  • llama.cpp(2/3/4비트 GGUF), vLLM(W4A4), Diffusers, PyTorch 등 멀티 백엔드 지원
  • MR-GPTQ·DuQuant++ 대비 낮은 perplexity 또는 11배 빠른 양자화 시간 달성
  • Ascend용 W4A4 dense/grouped matmul 커널을 CANN PR(ops-nn #12568, ops-tilelang #44)로 공개

향후 전망

  • 소비자급 하드웨어에서의 대형 모델 로컬 추론 확산 가속
  • 화웨이 Ascend 생태계와의 통합을 통한 자체 추론 스택 강화 가능성
출처:hackernews
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...