Qwen3.8-2.4T

Qwen3.8-2.4T-A95B는 총 2.4조 개의 파라미터 중 950억 개만 활성화되는 모델로, 기본 컨텍스트 길이는 262,144 토큰이며 최대 1,010,000 토큰까지 확장 가능하다. 코딩, 전문 작업, 연구, 장기 에이전트 작업에서 큰 성능 향상을 보였으며, 벤치마크에서 SWE-bench Pro 69.2, Terminal-Bench 2.1 86.6을 기록했다. 또한 추론 깊이를 조절하는 reasoning_effort와 과거 추론 컨텍스트를 유지하는 preserve_thinking 기능을 제공한다.

AI 요약

Qwen 팀이 오픈 모델 계열 중 가장 강력한 성능을 가진 Qwen3.8-2.4T-A95B를 공개했다. 총 2.4조 개의 파라미터 중 950억 개만 활성화되는 MoE(Mixture of Experts) 구조로, 코딩, 전문 업무, 연구, 장기 에이전트 작업에서 큰 성능 향상을 보여준다. 기본 컨텍스트 길이는 262,144 토큰이며 최대 1,010,000 토큰까지 확장 가능하다. 벤치마크 결과 코딩 에이전트 작업에서 GPT-5.6 Sol, Claude Opus 4.8 등과 경쟁하거나 능가하는 성능을 기록했다.

핵심 포인트

  • 총 2.4T 파라미터 중 95B만 활성화되는 MoE 구조 (512개 전문가 중 10개 라우팅 + 1개 공유 전문가 활성화)
  • 기본 컨텍스트 길이 262,144 토큰, 최대 1,010,000 토큰까지 확장 가능
  • Terminal Bench 2.1에서 86.6점, SWE-bench Pro 67.7점, DeepSWE 1.1에서 56.6점 기록
  • Qwen3.8-Max는 비전 입력, 1M 컨텍스트, 공식 내장 도구 등 추가 기능 제공

향후 전망

  • 오픈소스 AI 모델의 성능이 상용 최상위 모델에 근접하는 추세가 가속화될 전망
  • vLLM, SGLang, TokenSpeed 등 주요 추론 엔진과의 호환성으로 실제 배포가 용이할 것으로 기대
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...