AI 요약
YC S25 배치 스타트업 Magnitude가 에이전트용 자가 최적화 추론 엔진을 오픈소스로 출시했다. 이 엔진은 사용자의 실제 하드웨어에서 커널을 컴파일·튜닝해 llama.cpp 대비 최대 2배 빠른 성능을 제공하며, Metal에서 디코드 속도 92%, CUDA에서 19% 향상을 달성했다. Pi, OpenCode, Hermes, Codex 등 기존 에이전트와 원클릭으로 연동되며, Apple Silicon·NVIDIA·AMD·CPU를 모두 지원한다. Apache 2.0 라이선스로 무료 제공되며 모든 데이터가 로컬에 유지된다.
핵심 포인트
- llama.cpp 대비 최대 2배 빠른 성능, Metal 92%·CUDA 19% 디코드 속도 향상
- 에이전트당 메모리 27% 절감, 세션 간 프리픽스 캐시 공유로 동시 세션 성능 유지
- macOS·Windows·Linux 데스크톱 앱 제공, CLI 포함
- Pi·OpenCode·Hermes·Codex·Claude Code·Cline 등 원클릭 연동, OpenAI 호환 API 지원
향후 전망
- 로컬 추론 엔진 시장에서 llama.cpp·Ollama·LM Studio와의 경쟁 심화 예상
- 하드웨어별 커널 자동 튜닝 방식이 에이전트 인프라의 표준으로 자리잡을 가능성
출처:hackernews