AI 요약
2024년 10월 Simon Willison이 "펠리컨이 자전거 타는 SVG를 생성하라"는 단일 프롬프트로 16개 대형 언어모델을 비교한 이래, 이 테스트는 21개월간 AI 업계의 상징적 벤치마크가 되었다. 초기에는 모델 성능과 펠리컨 품질이 상관관계를 보였으나, 2026년 들어 Qwen3.6-35B-A3B 양자화 모델이 Claude Opus 4.7을 앞서는 등 상관관계가 깨졌다. Willison은 이 테스트가 더 이상 좋은 평가 지표가 아니라고 결론 내렸지만, 새 모델을 실제로 사용해보고 시스템 프롬프트 구조를 파악하는 용도로 계속 활용하고 있다.
핵심 포인트
- 2024년 10월 Simon Willison이 16개 모델에 "펠리컨이 자전거 타는 SVG 생성" 프롬프트로 테스트 시작
- 2025년 6월 34개 펠리컨 이미지로 560회 토너먼트 진행, GPT-4.1 mini 심사, 총비용 약 18센트, Gemini 2.5 Pro 우승
- o1-pro는 펠리컨 1개당 88.755센트, Gemini 2.5 Pro는 4.77센트 소요
- 2026년 4월 Qwen3.6-35B-A3B(20.9GB 양자화)가 Claude Opus 4.7을 펠리컨·플라밍고 테스트에서 모두 앞섬
- Kimi K3는 펠리컨 1개에 13,241 추론 토큰, 25센트 소비
향후 전망
- Willison은 펠리컨 테스트를 모델 비교에 사용하지 말 것을 권고하며, 장기 대화에서의 도구 호출 능력 등 실질적 역량 평가가 더 중요하다고 강조
- 테스트는 평가 도구에서 일종의 '의식'으로 전환되어 모델의 작업 방식과 자율성 파악 수단으로 남을 전망
출처:juejin