AI 요약
삼진 LLM은 각 가중치를 {-1, 0, +1} 세 기호로 저장해 정보이론적으로 약 1.585비트/가중치가 필요하지만, 기존 5-trit 패킹 방식은 실제로 1.625비트/가중치를 사용한다. 저자들은 29개 삼진 LLM의 실제 기호 분포를 측정한 결과 0이 최대 51.5%를 차지한다는 사실을 발견하고, 이를 활용한 분포 적응형 레이아웃 BITCOS를 제안했다. BITCOS는 밀집 존재 비트맵과 압축된 부호 벡터로 구성되며, 29개 모델 중 26개에서 5-trit 패킹보다 더 압축적이고 가장 희소한 모델에서는 1.485비트/가중치를 달성했다. AVX-512, AVX2, Intel Xe2 GPU용 최적화 언패킹 시퀀스를 제공하며, 실제 삼진 행렬-벡터 곱셈 커널 대비 최대 1.28배 이득, 디코드 처리량은 CPU 1.18배, GPU 1.27배 향상을 보였다.
핵심 포인트
- 29개 삼진 LLM 측정 결과 0이 최대 51.5% 차지
- BITCOS로 최소 1.485비트/가중치 달성 (기존 1.625비트 대비 개선)
- 29개 모델 중 26개에서 5-trit 패킹보다 압축 우수
- AVX-512/AVX2/Xe2 GPU 최적화 언패킹, 디코드 최대 1.27배 향상
향후 전망
- 분포 적응형 저장 레이아웃이 삼진 LLM 배포의 표준으로 자리잡을 가능성
- CPU·GPU 양쪽에서의 추론 효율 개선으로 엣지 디바이스 삼진 모델 활용 확대 기대
출처:hackernews