순수 Jax 200줄로 구현한 DeepSeek V3

“개발자가 딥시크 V3 아키텍처를 Flax·Equinox·PyTorch 없이 순수 JAX 190줄로 구현해 공개했다. 맥북 에어 M5(24GB)에서 36.2M 파라미터(토큰당 13.6M 활성) 모델을 공개 도메인 추리소설 207권, 2,170만 토큰으로 1만2천 스텝(약 2.6시간) 학습시켜 검증 손실을 5.02에서 3.51로 낮췄다. 보조 손실 없는 균형 기법 적용 시 전문가별 부하가 5.7~6.9%로 고르게 분포했으며, 이는 아키텍처 데모이지 강력한 언어 모델은 아니라고 밝혔다.”

AI 요약

DeepSeek V3 아키텍처를 Flax, Equinox, PyTorch 없이 순수 JAX 190줄로 구현한 프로젝트가 공개됐다. 맥북 에어(M5, 24GB)에서 공개 도메인 추리소설 데이터로 처음부터 사전학습을 진행했으며, 파라미터는 단순 배열 딕셔너리로 구성돼 코드를 위에서 아래로 읽을 수 있다. MLA, Decoupled RoPE, DeepSeekMoE, 보조손실 없는 균형 조정, 시퀀스별 균형 손실, 다중 토큰 예측(MTP) 등을 포함한다.

핵심 포인트

  • 190줄 순수 JAX 구현으로 MLA는 토큰당 480개를 144개로 압축 캐싱, MoE는 공유 전문가 1개+라우팅 전문가 16개(토큰당 top-4) 구성
  • 3,620만 파라미터(토큰당 활성 1,360만), 207권·2,170만 토큰으로 12,000스텝 학습, 약 2.6시간 소요, 속도 약 10.7k tokens/s
  • 검증 손실 5.02(250스텝)→3.51로 감소, 편향 적용 시 전문가 부하 5.7~6.9%로 균등화(미적용 시 0.09~18.6%)
  • v1.0 릴리스에 정확한 체크포인트(138MB)와 토크나이저 공개, 재현에는 애플 실리콘 맥과 Python 3.12, uv 필요

향후 전망

  • 아키텍처 교육·연구용 레퍼런스 구현으로 활용도가 높을 전망이다
  • 체크포인트가 파이썬 피클이라 신뢰할 수 있는 출처만 로드해야 하는 보안 유의점이 있다
출처:GitHub (Hacker News)
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...