AI 요약
ARGODRIVE Deltafin은 Apple Silicon 기반 맥북 프로에서 2.8조 파라미터의 Kimi K3 모델을 SSD 4개에서 스트리밍하여 실행하는 데 성공한 포크 프로젝트다. M5 Max 128GB 환경에서 초당 약 1토큰의 디코딩 속도를 기록했으며, SSD 수에 따라 성능이 비례적으로 향상되는 것을 확인했다. 모든 16개 전문가(experts)와 전체 모델을 프루닝 없이 실행하는 것을 원칙으로 하며, 품질 저하 없는 최대 효율을 추구한다.
핵심 포인트
- M5 Max 128GB 환경에서 512개 토큰 생성 시 초당 0.9232~1.0015 토큰 속도 기록
- SSD 1개 대비 4개 사용 시 약 2배 속도 향상 (1개 ≈52%, 2개 미러 ≈73%, 3개 ≈90%)
- 2.8조 파라미터 Kimi K3 전체 모델을 프루닝 없이 실행, 16개 전문가 모두 활성화
- 드래프트 모델을 통한 추측 기법으로 속도를 높이되, 최종 검증은 K3가 수행
향후 전망
- 컨슈머 하드웨어에서 대규모 MoE 모델 실행의 가능성을 입증하며, 향후 더 효율적인 추론 기술 발전의 기반이 될 전망
- 프리필(prefill) 속도 저하 문제를 해결하면 실용성이 크게 개선될 것으로 기대
출처:hackernews