Redis 개발자가 만든 ds4, 로컬에서 LLM 돌려보자

AI 요약

Redis 개발자가 만든 것으로 보이는 로컬 LLM 실행 도구 'ds4'가 공개되었다. ds4는 비대칭 2비트 양자화로 라우팅된 전문가(MoE)를 압축하면서 핵심 공유 경로는 정밀하게 유지해 지원 대상 머신에 맞춘다. KV 캐시를 디스크에 저장해 긴 프리픽스를 SSD에 보관하고 프롬프트 해시로 재개할 수 있으며, 하나의 엔진으로 채팅·로컬 API·코딩 세션 세 가지 인터페이스를 제공한다.

핵심 포인트

• 비대칭 2비트 양자화로 라우팅 MoE 압축, 공유 경로는 정밀 유지
• KV 캐시를 SSD에 저장하고 프롬프트 해시로 재개 (전체 재프리필 불필요)
• 하나의 엔진, 세 가지 인터페이스: ./ds4(채팅), ./ds4-server(로컬 API), ./ds4-agent(지속적 코딩 세션)
• Redis 개발자 참여로 주목받는 로컬 LLM 실행 프로젝트

향후 전망

• 로컬 환경에서 대규모 MoE 모델을 저비용으로 구동하려는 수요에 부합하며, 자체 호스팅·프라이버시 중시 사용자층에 확산 가능
• KV 캐시 디스크 활용 방식이 장문 컨텍스트 처리의 표준 기법으로 자리잡을 가능성