RTX 4090으로 Qwen 3.8 Flash Next(125B) 초당 100토큰 구동 성공

AI 요약

오픈소스 프로젝트 Strata가 1250억 파라미터 규모의 Qwen3.8-Flash-Next 모델을 일반 게이밍 PC에서 구동하는 데 성공했다. 12GB 이상 VRAM을 갖춘 NVIDIA 또는 AMD 그래픽카드와 32GB 이상 RAM이면 Windows나 Linux에서 무료로 실행 가능하며, 데이터가 PC 밖으로 나가지 않는다. RTX 5070(12GB)에서 Q2_0 양자화 기준 초당 94토큰의 답변 생성 속도와 2,650토큰/초의 프롬프트 처리 속도를 기록했다. 24GB VRAM의 RTX 3090은 초당 100~140토큰 정도가 가능할 것으로 예상된다.

핵심 포인트

• Qwen3.8-Flash-Next(125B) 모델을 12GB VRAM 이상 소비자용 GPU에서 구동, 통상 서버급으로 분류되던 대형 모델
• NVIDIA RTX 5070(12GB)에서 Q2_0 기준 94토큰/s 생성, 2,650토큰/s 프롬프트 처리 / AMD RX 9070 XT(16GB)는 60토큰/s, 1,160토큰/s
• 32K 토큰 문서·코드·대화 이력 처리 지원, 128K 컨텍스트 영상 데모 공개
• 멀티 GPU 지원(실험적), 구형 GPU(Tesla P40/V100, GTX 10, Radeon VII/MI50 등) 및 Intel Arc 지원 정보 제공

향후 전망

• 대형 AI 모델의 로컬 구동이 대중화되며 프라이버시 중심 온디바이스 AI 수요 확대 전망
• 커뮤니티 기반 최적화·양자화 발전으로 더 낮은 사양에서도 고성능 모델 구동 가능성