GLM 5.2, 내 구형 PC에서도 돌아간다

AI 요약

GLM-5.2(744B 파라미터 MoE 모델)를 일반 소비자용 PC에서 실행할 수 있는 초경량 C 언어 엔진 ‘colibri’가 공개되었다. 약 25GB RAM만으로 구동 가능하며, 디스크에서 전문가(Expert) 모듈을 스트리밍 방식으로 불러와 사용한다. 순수 C로 작성되어 Python이나 GPU 의존성이 없으며, int4 양자화와 MLA 어텐션, MTP 추론 가속 등 최신 기술이 적용되었다. 실제 측정 결과 콜드 캐시에서는 속도 저하가 발생할 수 있으나, LRU 캐시와 핫스토어로 성능을 보완한다.

핵심 포인트

• GLM-5.2는 744B 파라미터 MoE 모델로, 토큰당 약 40B 파라미터만 활성화됨
• int4 양자화 시 약 9.9GB RAM에 상주하며, 21,504개 라우팅 전문가는 디스크(약 370GB)에서 스트리밍
• MLA 어텐션으로 KV-캐시를 토큰당 576개 float로 압축(기존 32,768개 대비 57배 축소)
• MTP 추론 시 39~59% 수용률로 2.2~2.8 토큰/포워드 성능 달성

향후 전망

• 대규모 모델의 로컬 실행 민주화를 가속화할 가능성
• 디스크 스트리밍 방식의 한계(콜드 캐시 지연)를 극복하기 위한 최적화 연구가 지속될 전망