AI 요약
Mac M4에서 CoreML을 활용해 오프라인으로 초당 45개의 결정을 처리하는 Laya 프로젝트가 공개됐다. GitHub Gist에 공유된 laya.sh 스크립트는 uv로 환경을 초기화하고 laya-coreml 패키지를 설치한 뒤 Hugging Face에서 모델을 다운로드해 실행하는 과정을 담고 있다. 실행 시 물리 메모리 사용량이 약 560MB(피크 778MB)로 측정됐으며, macOS 27.0 환경에서 테스트됐다. 한 사용자는 Cloudflare의 typesafe/jev API 뒤에 Laya를 붙여 긴급도 판단 등의 추론 예시를 공유하기도 했다.
핵심 포인트
- Mac M4에서 CoreML 기반으로 오프라인 실행 시 초당 45개 결정을 처리한다.
uv init,uv add 'laya-coreml[demo]',hf download명령으로 손쉽게 설치·실행할 수 있다.- 실행 중 물리 메모리 사용량은 560.4MB, 피크는 778.0MB로 측정됐다.
- macOS 27.0(26A428) 환경에서 테스트됐으며, Cloudflare typesafe/jev API와 연동한 예시도 공개됐다.
향후 전망
- Apple Silicon의 ANE/CoreML을 활용한 온디바이스 추론 최적화가 더욱 활발해질 전망이다.
- 오프라인·저지연 추론 수요가 늘면서 유사한 로컬 모델 배포 사례가 증가할 것으로 보인다.
출처:hackernews