AI 요약
vLLM v0.28.0이 270명의 기여자(신규 76명)가 참여한 584개 커밋으로 출시됐다. Kimi-K3 성능 최적화(디코드 컨텍스트 병렬 처리, 퓨전 FlashKDA 커널, 적응형 스페큘레이티브 토큰 예산으로 DSpark TTFT 60% 개선), DeepSeek V4의 희소 MLA 엔드투엔드 지원, 스페큘레이티브 디코딩 발전 등이 핵심이다. 또한 Rust 프론트엔드와 gRPC 지원, 계층형 KV 캐시 디스크 오프로딩, 기본 max_num_batched_tokens가 8192에서 16384로 상향됐다.
핵심 포인트
- Kimi-K3: DCP 지원, 퓨전 FlashKDA 커널, 적응형 스페큘레이티브 토큰 예산으로 DSpark TTFT 약 60% 개선
- DeepSeek V4: 희소 MLA가 일반 디코드·MTP·DSpark 추측 디코딩에서 엔드투엔드 작동
- 기본 max_num_batched_tokens 8192→16384 상향, Blackwell CUDA 그래프 캡처 기본값 1024로 증가
- breaking change: bitsandbytes 지원이 아웃오브트리 플러그인으로 이전, Transformers 5.15.0으로 업그레이드
향후 전망
- Kimi-K3와 DeepSeek V4 등 최신 대형 모델의 추론 효율성이 크게 개선될 전망
- Rust 프론트엔드와 gRPC 기반 멀티모달 추론 지원으로 엔터프라이즈 배포 확대 예상
출처:hackernews