AI 요약
애플 ML 연구팀이 Mac Studio에서 MLX 프레임워크와 RDMA over Thunderbolt를 활용해 거의 1조 파라미터에 달하는 Muse Spark Open 모델을 구동하는 방법을 공개했다. 4대의 Mac Studio 클러스터에서 초당 36토큰 이상을 생성하며, 이는 평균 인간 읽기 속도를 크게 상회한다. 단일 Mac Studio(최대 512GB 통합 메모리)에서 시작해 여러 대로 확장 가능하며, M5 Ultra의 GPU Neural Accelerator가 핵심 역할을 한다.
핵심 포인트
- Muse Spark Open(816B 파라미터, MoE 구조, NVFP4 정밀도)을 4대 Mac Studio에서 초당 36토큰 이상 생성
- M5 Ultra와 M3 Ultra 비교, 파이프라인 병렬화(2대) 및 텐서 병렬화(2대·4대) 방식 평가
- Mistral Medium 3.5(128B, FP8), Qwen 3.8(27B, BF16) 등 프론티어 모델도 함께 벤치마크
- 컨텍스트 크기 8,192 토큰 기준 성능 측정, M5의 GPU Neural Accelerator가 행렬 연산 가속
향후 전망
- 개인 워크스테이션급 하드웨어에서 대규모 LLM 구동이 현실화되며 프라이버시 중심 AI 연구 확대
- RDMA over Thunderbolt 기반 분산 추론이 온프레미스 AI 인프라의 새 표준으로 부상 가능