AI 요약
Cactus Compute의 Needle 3는 8~29MB(9~29MB CQ2-bit 바이너리)의 초소형 자동화 모델로, 4L 서브네트워크를 다운스트림 태스크에 1에폭 튜닝하면 DeepSeek V4 Flash에 맞먹는 성능을 낸다고 주장한다. 툴 호출, 구조화 추출, 텍스트 임베딩 기능을 제공하며 스마트홈·로봇·폰·웨어러블·AR 글래스·자동차·컴퓨터 등 온디바이스 환경에서 오프라인으로 동작한다. 모델은 29~121M 파라미터의 Laddered Simple Attention Network로, 2층(2L)부터 20층(20L)까지 용량이 단조 증가하는 서브네트워크로 구성되며 각 서브네트워크는 파인튜닝이 가능하다. 360B 토큰의 독점 구조화 데이터셋으로 학습되었고, 라즈베리 파이 5에서 디코드 400~4k tokens/s, 프리필 1~10k tokens/s 속도를 낸다.
핵심 포인트
- Needle 3는 9~29MB CQ2-bit 바이너리의 초소형 온디바이스 자동화 모델
- 4L 서브네트워크를 1에폭 튜닝 시 DeepSeek V4 Flash에 맞먹는 성능 주장
- 툴 호출, 구조화 추출(JSON), 텍스트 임베딩 기능 제공, 오프라인 동작
- 29~121M 파라미터 Laddered Simple Attention Network, 2L~20L 서브네트워크로 용량 단조 증가
- 360B 토큰 독점 구조화 데이터셋 학습, 라즈베리 파이 5에서 디코드 400~4k tokens/s·프리필 1~10k tokens/s
향후 전망
- 스마트홈·로봇·웨어러블·AR 글래스 등 온디바이스 AI 자동화 시장에서 초소형 모델 경쟁이 심화될 전망
- 클라우드 의존 없이 프라이버시를 보존하는 로컬 자동화·검색·매칭 응용이 확대될 가능성
출처:hackernews