김미 K3 아키텍처 분석… AI 반도체 설계의 새로운 기준 제시

AI 요약

김미 K3 아키텍처는 2.8조 파라미터 규모의 오픈웨이트 모델로, 현재 공개된 모델 중 가장 크다. 작년 출시된 Kimi Linear 모델의 확장 버전이며, LatentMoE, 멀티헤드 잠재 어텐션, Kimi Delta 어텐션 등 추론 효율성을 높이는 다양한 구성요소가 도입되었다. 특히 모든 RoPE 레이어를 제거하고 NoPE(위치 임베딩 없음)를 전면 채택한 점이 특징이며, 네이티브 멀티모달 지원도 추가되었다.

핵심 포인트

• 2.8조 파라미터 규모로 현재 공개된 오픈웨이트 모델 중 최대
• Kimi Linear(48B) 대비 대규모 확장, LatentMoE 신규 도입
• 모든 RoPE 레이어 제거하고 NoPE(No Positional Embeddings) 전면 채택
• 어텐션 잔차(Attention Residuals) 도입으로 검증 손실 및 다운스트림 성능 개선, 훈련 비용 4%, 추론 비용 2% 증가

향후 전망

• 오픈웨이트 모델의 규모와 효율성 경쟁이 더욱 치열해질 전망
• NoPE 기반 아키텍처가 차세대 LLM 설계의 새로운 기준이 될 가능성