AI 요약
샤오미의 MiMo v2.5 시리즈는 하이브리드 슬라이딩 윈도우 어텐션(Hybrid SWA)을 통해 KVCache 저장 공간을 풀 어텐션 대비 약 1/7로 압축하고, 희소 MoE 활성화로 토큰당 연산을 줄이면서도 장문맥 및 멀티모달 추론 성능을 극대화했다. 이론적 효율성을 실제 생산 환경에서 구현하기 위해 KVCache 관리, 계층형 캐싱 시스템, SWA 인식 프리픽스 캐시 트리, 스케줄링 전략, Prefill/Decode 실행 파이프라인 및 멀티모달 최적화를 종합적으로 적용했다.
핵심 포인트
- MiMo-V2.5-Pro는 총 70개 레이어 중 10개 Full Attention 레이어와 60개 SWA 레이어(슬라이딩 윈도우 크기 128)로 구성
- Hybrid SWA는 어텐션 복잡도를 거의 선형 수준으로 낮추면서 장거리 의존성 모델링 유지
- MoE는 분산 스케줄링과 부하 균형에 큰 부담을 주며, 멀티모달 인코더는 대형 이미지 및 장시간 비디오에서 처리량 병목 현상 발생
- 실제 엔지니어링 시스템에서는 데이터 이동, 비동기 프리페치, 분산 캐시 상태 동기화 등 추가 과제 존재
향후 전망
- Hybrid SWA와 MoE 결합이 장문맥 및 멀티모달 AI 모델의 표준 아키텍처로 자리잡을 가능성
- KVCache 최적화 기술이 대규모 언어 모델의 추론 비용을 획기적으로 낮추는 핵심 요소로 발전할 것
출처:hackernews