AI 요약
오픈소스 AI 모델들이 GPT-5.5 Pro의 추론 프리필(reasoning prefill)을 사용했을 때 성능이 어떻게 변화하는지 측정한 실험 결과를 다룬 기사입니다. 총 45개 문제(STEM 15개, 비STEM 15개, 합성 퍼즐 15개)를 대상으로 각 모델의 답변에 GPT-5.5 Pro 추론의 첫 1%를 삽입한 뒤, 교사 모델의 답변이 얼마나 재현되는지 측정했습니다. 특히 Qwen3.8 A95B 모델은 프리필 적용 시 일치도가 16.79%에서 34.97%로 18.18%포인트나 상승하며 가장 큰 변화를 보였습니다.
핵심 포인트
- Qwen3.8 A95B: 프리필 적용 시 +18.18%포인트 상승 (16.79% → 34.97%), STEM 분야에서 +26.99%포인트로 가장 큰 효과
- Kimi K3: 프리필 유무와 관계없이 GPT-5.5 Pro와의 중복도가 가장 높음 (31.11% → 35.65%, +4.54%포인트)
- DeepSeek V4 Flash는 오히려 -1.17%포인트 감소, Inkling은 +0.46%포인트로 거의 변화 없음
- Qwen이 이전 Opus 4.8 실험에서는 거의 움직임이 없었으나 GPT-5.5 Pro에서는 큰 변화를 보여, Qwen이 Opus가 아닌 GPT 계열 모델에서 학습했을 가능성을 시사
향후 전망
- Qwen이 GPT-5.5 Pro 또는 관련 GPT 모델의 추론 패턴을 학습했을 가능성에 대한 추가 검증 필요
- 추론 프리필 실험이 모델 간 지식 증류(distillation) 관계를 파악하는 새로운 방법론으로 자리잡을 전망