DeepSeek 모델 위한 고성능 추론 프레임워크 'DeepInfer' 공개

“딥시크가 대규모 프로덕션 서비스용 고성능 추론 프레임워크 '딥인퍼'를 오픈소스로 공개했다. DeepSeek-V4.1-Flash를 지원하며 FlashMLA·DeepGEMM·DeepEP 등 최적화 커널, DSpark 신뢰도 기반 검증(기본 드래프트 길이 5), SWA 바운디드 리플레이(기본 140토큰 유지), 제로 오버헤드 비동기 배치 스케줄러, 배치 불변 추론, 결정론적 샘플링, 정규식·JSON 스키마·EBNF 구조화 출력을 제공한다. NVIDIA SM100 GPU와 화웨이 어센드 950 NPU를 지원하며 GCC 13.0 이상, Python 3.12, CUDA 13 환경이 필요하다.”

AI 요약

딥시크(DeepSeek)가 자사의 대규모 프로덕션 서비스를 구동하는 고성능 추론 프레임워크 'DeepInfer'를 오픈소스로 공개했다. DeepSeek-V4.1-Flash 모델을 지원하며, FlashMLA·DeepGEMM·DeepEP 등 최적화 커널과 DSpark 신뢰도 기반 검증, SWA 경계 재생, 비동기 스케줄링, 배치 불변 추론, 결정론적 샘플링, 구조화 출력 등의 기능을 제공한다. NVIDIA SM100 GPU와 화웨이 어센드 950 NPU를 지원하며, KV 캐시 시스템과 디스어그리게이션 등 완전한 서비스 구성 요소는 이번 릴리스에 포함되지 않았다.

핵심 포인트

  • DeepSeek-V4.1-Flash 모델 지원, 오프라인 추론 중심으로 공개
  • FlashMLA, DeepGEMM, DeepEP, TileKernels 등 최적화 커널 탑재
  • NVIDIA SM100 GPU 및 화웨이 어센드 950 NPU 지원
  • 배치 불변 추론(DEEPINFER_BATCH_INVARIANT=1) 및 결정론적 샘플링 기능 제공

향후 전망

  • 오픈소스 추론 프레임워크 경쟁 심화 및 대규모 서빙 비용 절감 기대
  • KV 캐시·디스어그리게이션 등 미포함 기능의 순차적 공개 가능성
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...