AI 요약
딥시크(DeepSeek)가 자사의 대규모 프로덕션 서비스를 구동하는 고성능 추론 프레임워크 'DeepInfer'를 오픈소스로 공개했다. DeepSeek-V4.1-Flash 모델을 지원하며, FlashMLA·DeepGEMM·DeepEP 등 최적화 커널과 DSpark 신뢰도 기반 검증, SWA 경계 재생, 비동기 스케줄링, 배치 불변 추론, 결정론적 샘플링, 구조화 출력 등의 기능을 제공한다. NVIDIA SM100 GPU와 화웨이 어센드 950 NPU를 지원하며, KV 캐시 시스템과 디스어그리게이션 등 완전한 서비스 구성 요소는 이번 릴리스에 포함되지 않았다.
핵심 포인트
- DeepSeek-V4.1-Flash 모델 지원, 오프라인 추론 중심으로 공개
- FlashMLA, DeepGEMM, DeepEP, TileKernels 등 최적화 커널 탑재
- NVIDIA SM100 GPU 및 화웨이 어센드 950 NPU 지원
- 배치 불변 추론(DEEPINFER_BATCH_INVARIANT=1) 및 결정론적 샘플링 기능 제공
향후 전망
- 오픈소스 추론 프레임워크 경쟁 심화 및 대규모 서빙 비용 절감 기대
- KV 캐시·디스어그리게이션 등 미포함 기능의 순차적 공개 가능성
출처:hackernews
