Kimi K3 성능은 끝판왕인데… 사장님이 “API 비싸다”며 로컬 구축 지시, 직접 비용 계산해보니 사장님 입이 안 열렸다… 사실 3000만원이면 충분했다.

AI 요약

Kimi K3(2.8조 파라미터 MoE 모델)의 로컬 배포 비용을 계산한 글이다. 회사 대표가 API 구독료(월 2만 위안 이상)를 아끼기 위해 로컬 구축을 지시했지만, 실제로는 H200 GPU 64장, NVLink 스위치, 800G 광모듈, 액체 냉각 시스템 등이 필요해 초기 투자비용만 약 3000만 위안이 소요되는 것으로 계산된다. 여기에 연간 전기요금만 약 91만 위안이 추가로 발생한다. 대표는 비용을 확인한 후 아무 말 없이 회의를 소집하겠다고만 했다.

핵심 포인트

• Kimi K3 로컬 배포에는 H200 GPU 64장(141GB VRAM)이 최소 필요
• 초기 장비 비용: 약 3000만 위안 (GPU, 서버, 네트워크, 냉각 등 포함)
• 연간 전기요금: 69.44kW × 1.5위안/kWh × 24시간 × 365일 ≈ 91.2만 위안
• MoE 모델 특성상 고대역폭 네트워크(NVLink, 800G/1.6T 광모듈)가 필수

향후 전망

• 대규모 MoE 모델의 로컬 배포는 중소기업에게 현실적으로 불가능한 비용 구조
• 클라우드 API 사용이 비용 효율적인 대안으로 계속 유지될 전망