Kimi·GLM, 더 작고 빠르고 안전하게…대규모 서비스 운영 비결 공개

AI 요약

Cloudflare Workers AI가 Kimi K-시리즈(Moonshot)와 GLM(Z.ai) 같은 대규모 MoE 모델을 효율적으로 서빙하기 위해 적용한 세 가지 최적화 기법을 공개했다. KV 캐시를 16비트(BF16)에서 8비트(FP8)로 양자화해 메모리 사용량을 절반으로 줄였고, 모델 가중치 압축과 공유 캐시 보호 기술을 함께 적용했다. 그 결과 Kimi K2.6 기준 동시 요청 처리량이 32개에서 64개로 두 배 늘었고, 토큰당 비용은 약 30% 절감됐다. 모든 실험은 SGLang 오픈소스 추론 서빙 프레임워크로 진행했으며, 정확도 손실 없이 더 많은 고객을 저비용으로 지원할 수 있게 됐다.

핵심 포인트

• KV 캐시 양자화(BF16→FP8): Kimi K2.6 기준 컨텍스트 보유량 약 68.6만→137만 토큰으로 2배 증가
• FP8 적용 시 동시 요청 64개까지 처리 가능, 최대 2,192 tokens/s (BF16 피크 대비 41% 향상)
• 토큰당 비용 약 30% 절감, 모델 정확도 손실 없음
• SGLang 오픈소스 프레임워크 사용, 패치와 신기능을 오픈소스 커뮤니티에 업스트림 기여

향후 전망

• 프리필(prefill) 단계는 BF16 유지, 디코드(decode) 단계는 FP8 적용 등 단계별 최적화 전략으로 GPU 활용도 극대화 전망
• 오픈소스 커뮤니티와의 협력을 통해 대규모 모델 서빙 기술이 지속 발전할 것으로 기대