AI 요약
llama-modchip은 GPU 없이 시스템 RAM만으로 대규모 MoE(전문가 혼합) 모델을 구동하는 ggml/llama.cpp 커널 패치·양자화 도구 모음이다. 284.33B 파라미터 딥시크-V4-Flash를 1.71bpw로 압축해 56.56GiB로 줄여 64GB 리눅스 머신에서 스왑 없이 256K 컨텍스트까지 구동한다. AVX-512/AVX2·ARM64 NEON/SVE를 지원하며, CPU 캐시·SIMD 커널 패치로 프리필 +77%, 디코드 +53% 성능 향상을 달성했다.
핵심 포인트
- 284B 모델(활성 13.17B)을 64GB RAM에서 구동, 피크 VmRSS 57.61GiB, 256K 컨텍스트 기준 44.36 tok/s 프리필
- 30B MoE(Nemotron-3.5-30B-A3B, 3.75bpw)는 16~32GB 노트북에서 25.0~60.4 tok/s 디코드
- 8채널 Threadripper 워크스테이션에서 30B 모델 111.62 tok/s 달성
- /dev/shm KV 슬롯 스냅샷으로 13.1~32.6ms 만에 에이전트 컨텍스트 복원, 1.64MB n-gram 드래프터로 자기-추측 디코딩 지원
향후 전망
- GPU 없이 대형 MoE 모델을 돌리는 로컬 추론 수요와 맞물려 채택 확대 가능성
- 양자화·커널 최적화가 더 낮은 bpw와 더 큰 컨텍스트로 발전할 전망
출처:hackernews
