AI 요약
탈옥된 PS5에서 llama.cpp를 콘솔 GPU로 구동해 언어 모델 서버로 활용하는 프로젝트 PS5LM이 공개됐다. RDNA 2 GPU의 Vulkan 백엔드를 사용하며 11.4GB 공유 메모리에 GGUF 모델을 로드해 네트워크상의 노트북·스마트폰·코딩 도구에 서비스한다. OpenAI의 /v1/chat/completions와 Anthropic의 /v1/messages API를 지원해 Claude Code와도 연동된다. Ollaya 기반 결정 모델(d1, Clef, OpenJev 등)도 GPU에서 실행 가능하다.
핵심 포인트
- 탈옥 PS5에서 llama.cpp Vulkan 백엔드로 GGUF 모델 네이티브 실행
- Qwen 3.5 9B(Q4_K_M, 5.3GB) 55 tokens/s, Qwen 3.8 27B 약 20 tokens/s(64k 컨텍스트)
- OpenAI·Anthropic API 호환, TV 화면에 요청 스트리밍 표시
- Ollaya 기반 결정 모델 지원, 720p 이미지+7개 질문 2.9초 처리
향후 전망
- 콘솔을 활용한 가정용 프라이빗 AI 서버 수요 확대 가능성
- 이미지 프로젝터 지원 모델(Gemma 4, MiniCPM-V, d1)로 멀티모달 기능 강화
출처:hackernews