AI 요약
캑터스 컴퓨트(Cactus Compute)가 4,500만(45M) 파라미터, 14MB 파일 크기의 초경량 온디바이스 AI 에이전트 '니들2(Needle 2)'를 공개했다. 이 모델은 200달러 미만의 저가 기기(보급형 폰, 라즈베리파이, 마이크로컨트롤러, 웨어러블, 소형 로봇 등)를 타겟으로 하며, GPU나 NPU 없이 수백 MB RAM만으로 동작한다. 핵심 설계 철학은 '함수 호출(Function Call)'과 '스키마 기반 구조화 출력'에 집중해 세계 지식이나 자유 형식 문장 생성 없이 문장을 함수와 인자 값에 매핑하는 문제로 축소한 것이다. 또한 에지-클라우드 협업을 위해 모든 응답에 학습된 신뢰도 점수를 포함해 오프토픽 요청은 빈 호출로 거절하고, 임계값 이하일 때만 클라우드로 에스컬레이션한다. 사전학습부터 후속학습까지 2비트 양자화(Cactus Quants)를 적용해 배포 시 손실 없는 압축을 구현했다.
핵심 포인트
- 45M 파라미터, 14MB 파일 크기, 800+ tok/s (Pi5 prefill), 500+ tok/s (Pi5 decode) 성능
- 200달러 미만 기기 타겟: 21억 개 이상의 IoT 기기 대비 약 15억 대 PC 시장 대비 80%의 엣지 기기가 저가 하드웨어
- 스키마 기반 바이트 레벨 문법으로 모든 토큰을 제약해 함수 선택과 인자 근거 확보에 전체 파라미터 집중
- CQ2-bit 압축을 사전학습부터 적용해 배포 모델과 훈련 모델의 일관성 유지
향후 전망
- 저가 IoT·엣지 디바이스에서의 온디바이스 AI 에이전트 표준화 가능성
- 에지-클라우드 협업 구조가 프라이버시 보호와 비용 절감을 동시에 달성하는 기본 패러다임으로 자리잡을 전망
출처:hackernews