작고 오래된 기기에서도 LLM 돌게 만드는 중

“smolmaxxing 프로젝트는 샤오미 TV Box S(3세대, Amlogic S7D, 1.9GB RAM)와 2013년형 iPad Air(Apple A7, 1GB RAM) 같은 저사양 기기에서 llama.cpp를 패치해 대형 언어모델을 구동한다. TV Box에서는 Qwen3.5-2B를 7.7 tok/s, Ling-mini-2.0 16B를 5.1 tok/s로, iPad Air에서는 Bonsai-1.7B(1-bit)를 24-26 tok/s, 16B 모델을 2.6-4.5 tok/s로 실행했으며, 약 1GB RAM에서 8B·16B MoE 모델을 플래시 스트리밍으로 구동한다.”

AI 요약

smolmaxxing 프로젝트는 TV 박스, 구형 태블릿, 라우터 같은 저사양 기기에서 최대한 큰 언어 모델을 구동하는 것을 목표로 한다. llama.cpp에 패치를 적용해 1비트 룩업테이블 커널, 희귀 어휘 행 제거, 전문가 플래시 페이징 등의 기법을 구현했다. 샤오미 TV Box S(3세대)에서는 16B Ling-mini-2.0 모델을 5.1 tok/s로, 2013년형 아이패드 에어에서는 같은 모델을 2.6~4.5 tok/s로 실행하는 데 성공했다. 약 1GB RAM 환경에서 8B·16B MoE 모델을 구동하는 것이 핵심 성과다.

핵심 포인트

  • 샤오미 TV Box S: Amlogic S7D, 4×Cortex-A55, 1.9GB RAM(실사용 약 1GB)에서 Qwen3.5-2B를 7.7 tok/s로 구동
  • 아이패드 에어(2013): Apple A7 2코어, 1GB RAM(실사용 약 700MB)에서 1비트 Bonsai-1.7B를 24~26 tok/s로 구동
  • 전문가 페이징 기법으로 1GB RAM에서 8B·16B MoE 모델 실행, 밀집 모델은 플래시 최대 속도 스트리밍 지원
  • 160개 실험을 담은 실험 노트북(EXPERIMENT.md) 공개, 향후 폰·SBC·라우터로 확장 예정

향후 전망

  • 1비트 커널이 기본 NEON만 요구하므로 ARM 기반 구형 기기 전반으로 적용 범위 확대 가능
  • 플래시 스트리밍 엔진이 Linux/Android 기기 전반에서 "모델 크기 > RAM" 상황을 극복하는 표준 기법으로 자리잡을 전망
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...