AI 요약
Thinking Machines가 노트북에서 실행 가능한 소형 고성능 모델 'Inkling 2 Mini'를 출시했다. 이 모델은 루프 트랜스포머(looped transformer) 구조로 중간 레이어를 토큰당 3회 반복 실행해 추론 능력을 높이고 더 적은 토큰으로 정답에 도달한다. 총 파라미터 100B 미만 오픈 웨이트 모델 중 DeepSWE v1.1(48.2%)과 Vals Index v2.2(46.5%)에서 선두를 기록했다. 26.4B 총 파라미터, 3.4B 활성 파라미터의 MoE 모델로, 루핑이 성능과 모니터링 가능성에 미치는 영향도 함께 연구되었다.
핵심 포인트
- 루프 트랜스포머 구조로 중간 레이어를 토큰당 3회 반복 실행
- 100B 미만 오픈 웨이트 모델 중 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%로 선두
- 26.4B 총 파라미터, 3.4B 활성 파라미터의 MoE 모델
- 가변 루프 모델의 no-CoT 시간 지평이 1회 16초에서 3회 37초로 향상, 직렬 추론 벤치마크는 10회 루프까지 성능 개선 지속
향후 전망
- 소형 모델의 추론 능력 향상으로 로컬/엣지 환경에서의 활용 확대 기대
- 루핑 기법이 모니터링 가능성(CoT 가독성)을 유지하면서 성능을 높이는 방향으로 발전 가능
출처:hackernews
