잉클링, 오픈 웨이트 AI 모델 공개

AI 요약

Thinking Machines가 975B 총 파라미터(41B 활성)의 Mixture-of-Experts 트랜스포머 모델 'Inkling'을 오픈 웨이트로 공개했다. 45조 토큰의 텍스트, 이미지, 오디오, 비디오로 사전 학습되었으며 최대 100만 토큰의 컨텍스트 윈도우를 지원한다. 함께 공개된 Inkling-Small(12B 활성 파라미터)은 더 낮은 비용과 지연 시간으로 강력한 성능을 제공한다. Tinker 플랫폼에서 파인튜닝이 가능하며, 모델이 스스로 파인튜닝을 수행하는 자가 파인튜닝 데모도 공개되었다.

핵심 포인트

• Inkling: 975B 총 파라미터, 41B 활성 파라미터, MoE 트랜스포머
• 45조 토큰으로 사전 학습, 최대 100만 토큰 컨텍스트 지원
• Inkling-Small: 12B 활성 파라미터, 경량 모델
• 텍스트, 이미지, 오디오를 기본적으로 추론 가능
• Tinker 플랫폼에서 파인튜닝 및 플레이그라운드 제공

향후 전망

• 다양한 크기의 모델 패밀리로 확장 예정
• 오픈 웨이트 기반 커스터마이징 생태계 활성화 기대