잉클링 2 미니

“잉클링 2 미니는 노트북에서 구동 가능한 루프 트랜스포머 모델로, 각 토큰마다 중간 레이어를 3회 반복 실행해 추론 능력을 높인다. 총 파라미터 100B 미만 오픈 웨이트 모델 중 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%로 선두를 기록했으며, 총 26.4B 파라미터에 활성 3.4B의 MoE 구조다. 루프를 3회로 늘리면 no-CoT 시간 지평이 16초에서 37초로 향상되고 직렬 추론 성능은 10회 루프까지 계속 개선됐다.”

AI 요약

Thinking Machines가 노트북에서 실행 가능한 소형 고성능 모델 'Inkling 2 Mini'를 출시했다. 이 모델은 루프 트랜스포머(looped transformer) 구조로 중간 레이어를 토큰당 3회 반복 실행해 추론 능력을 높이고 더 적은 토큰으로 정답에 도달한다. 총 파라미터 100B 미만 오픈 웨이트 모델 중 DeepSWE v1.1(48.2%)과 Vals Index v2.2(46.5%)에서 선두를 기록했다. 26.4B 총 파라미터, 3.4B 활성 파라미터의 MoE 모델로, 루핑이 성능과 모니터링 가능성에 미치는 영향도 함께 연구되었다.

핵심 포인트

  • 루프 트랜스포머 구조로 중간 레이어를 토큰당 3회 반복 실행
  • 100B 미만 오픈 웨이트 모델 중 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%로 선두
  • 26.4B 총 파라미터, 3.4B 활성 파라미터의 MoE 모델
  • 가변 루프 모델의 no-CoT 시간 지평이 1회 16초에서 3회 37초로 향상, 직렬 추론 벤치마크는 10회 루프까지 성능 개선 지속

향후 전망

  • 소형 모델의 추론 능력 향상으로 로컬/엣지 환경에서의 활용 확대 기대
  • 루핑 기법이 모니터링 가능성(CoT 가독성)을 유지하면서 성능을 높이는 방향으로 발전 가능
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...