AI 요약
Janus는 AMD·Intel·NVIDIA GPU 또는 CPU에서 Vulkan을 통해 .gguf 모델을 구동하는 단일 Go 바이너리로, OpenAI 호환 API와 내장 웹 UI를 제공한다. Python·Docker·Ollama 없이 동작하며 Ollama를 백엔드로도 지원하고, llama.cpp를 Vulkan으로 실행한다. 파일 읽기/쓰기, 명령 실행, 수학, docx 입출력, PDF 출력, Tesseract OCR 등 내장 도구와 모델 핫스왑, 선택적 Basic Auth를 제공한다. Windows 10/11, Linux, macOS를 지원하며 Go 1.22 이상이 필요하다.
핵심 포인트
- 단일 Go 바이너리로 Vulkan(AMD/Intel/NVIDIA) 또는 CPU 추론 지원
- OpenAI 호환 API(/v1/chat/completions, /v1/models) 및 웹 UI 제공
- 모델 핫스왑, 내장 도구(파일·명령·OCR·PDF 등), 선택적 인증 지원
- 기본 포트 127.0.0.1:8990, 모델당 2~8GB 디스크 필요
향후 전망
- Python·Docker 의존 없이 로컬 LLM 배포 간소화 기대
- Cursor·Cline 등 OpenAI 클라이언트와의 연동으로 활용도 확대
출처:hackernews