AI 요약
smolmaxxing 프로젝트는 TV 박스, 구형 태블릿, 라우터 같은 저사양 기기에서 최대한 큰 언어 모델을 구동하는 것을 목표로 한다. llama.cpp에 패치를 적용해 1비트 룩업테이블 커널, 희귀 어휘 행 제거, 전문가 플래시 페이징 등의 기법을 구현했다. 샤오미 TV Box S(3세대)에서는 16B Ling-mini-2.0 모델을 5.1 tok/s로, 2013년형 아이패드 에어에서는 같은 모델을 2.6~4.5 tok/s로 실행하는 데 성공했다. 약 1GB RAM 환경에서 8B·16B MoE 모델을 구동하는 것이 핵심 성과다.
핵심 포인트
- 샤오미 TV Box S: Amlogic S7D, 4×Cortex-A55, 1.9GB RAM(실사용 약 1GB)에서 Qwen3.5-2B를 7.7 tok/s로 구동
- 아이패드 에어(2013): Apple A7 2코어, 1GB RAM(실사용 약 700MB)에서 1비트 Bonsai-1.7B를 24~26 tok/s로 구동
- 전문가 페이징 기법으로 1GB RAM에서 8B·16B MoE 모델 실행, 밀집 모델은 플래시 최대 속도 스트리밍 지원
- 160개 실험을 담은 실험 노트북(EXPERIMENT.md) 공개, 향후 폰·SBC·라우터로 확장 예정
향후 전망
- 1비트 커널이 기본 NEON만 요구하므로 ARM 기반 구형 기기 전반으로 적용 범위 확대 가능
- 플래시 스트리밍 엔진이 Linux/Android 기기 전반에서 "모델 크기 > RAM" 상황을 극복하는 표준 기법으로 자리잡을 전망
출처:hackernews
