AI 요약
Kimi는 최신 K2.6 모델 출시와 더불어, 오픈소스 모델이 다양한 인프라 환경에서 올바르게 실행되는지 확인하기 위한 'Kimi Vendor Verifier(KVV)' 프로젝트를 오픈소스로 공개했습니다. 이번 프로젝트는 K2 Thinking 모델 출시 이후 커뮤니티에서 제기된 벤치마크 점수 이상 현상을 조사하는 과정에서 시작되었습니다. 조사 결과, 성능 저하의 주요 원인이 디코딩 파라미터의 오용 및 엔지니어링 구현의 편차에 있음이 밝혀졌습니다. Kimi는 이를 해결하기 위해 Thinking 모드에서 Temperature 1.0, TopP 0.95 설정을 강제하는 등의 조치를 취했으나, 보다 근본적인 해결을 위해 인프라 제공업체의 정확도를 투명하게 공개하는 KVV 도구를 개발했습니다. 이 도구는 모델 자체의 결함과 엔지니어링 구현 오류를 구분하여 오픈소스 생태계의 신뢰도를 높이는 데 기여할 것입니다.
핵심 인사이트
- KVV 프로젝트 공개: Kimi K2.6 모델과 함께 오픈소스 모델의 추론 구현 정확도를 검증하는 KVV를 출시했습니다.
- 파라미터 표준화: 성능 최적화를 위해 API 레벨에서 Temperature=1.0 및 TopP=0.95 설정을 강제하고 Thinking 콘텐츠 반환 여부를 검증합니다.
- 성능 검증 인프라: 두 대의 NVIDIA H20 8-GPU 서버를 활용하여 전체 평가 워크플로우를 검증했으며, 순차 실행 시 약 15시간이 소요됩니다.
- 오픈소스 커뮤니티 협업: vLLM, SGLang, KTransformers 커뮤니티와 협력하여 증상 처방이 아닌 근본적인 인프라 버그 수정을 진행합니다.
주요 디테일
- LiveBenchmark 격차 발견: 제3자 API와 공식 API 간의 극명한 성능 차이를 확인한 후, 인프라 제공업체 전반에 걸쳐 품질 제어 문제가 광범위하게 퍼져 있음을 인지했습니다.
- 6가지 핵심 벤치마크: 특정 인프라 장애를 노출시키기 위해 엄선된 6개의 벤치마크를 통해 벤더의 정확도를 측정합니다.
- 평가 효율성 최적화: 스트리밍 추론, 자동 재시도, 체크포인트 재개 메커니즘을 포함하여 장시간 실행되는 추론 시나리오에 맞게 스크립트를 최적화했습니다.
- 투명한 순위표 운영: 벤더별 결과에 대한 공개 리더보드를 유지하여 업체들이 정확도를 우선시하도록 유도합니다.
- 사전 출시 검증: 인프라 제공업체에 테스트 모델에 대한 조기 액세스 권한을 제공하여 사용자가 문제를 겪기 전에 스택을 검증할 수 있게 합니다.
향후 전망
- 벤더 커버리지 확대: 더 많은 인프라 제공업체를 평가 대상에 포함시키고 더 가벼운 에이전트 기반 테스트를 개발할 예정입니다.
- 표준 수립 기여: 모델의 가중치뿐만 아니라 이를 올바르게 실행하는 '지식'까지 공유함으로써 오픈소스 배포 품질의 표준을 정립할 것으로 보입니다.
출처:hackernews