AI 요약
앤스로픽 CEO 다리오 아모데이가 모든 프런티어 AI 기업 내부에 제3자 안전성 평가자를 상주시키는 방안을 제안했고, 샘 올트먼 OpenAI CEO도 동참 의사를 밝혔다. 이는 1년 전만 해도 업계가 즉시 거부했을 제안으로, 평가자들에게 안전 사고 보고 및 모델 정렬 여부 평가 권한을 부여하는 내용이다. 그러나 평가자들은 세부 사항이 확정되지 않았고 입법적 뒷받침이 없으면 진정한 독립적 감시자가 될지 불확실하다고 지적했다.
핵심 포인트
- 앤스로픽 다리오 아모데이, 모든 프런티어 AI 기업에 제3자 평가자 상주 제안 (METR, 레드우드 리서치 등)
- 샘 올트먼 OpenAI CEO도 동일 관행에 동참 의사 표명
- 평가자들은 최종 모델뿐 아니라 훈련 중간 버전(체크포인트) 접근 권한 요구
- 양사 모두 협력 평가자 선정, 상주 시기, 접근 범위, 공개 가능 정보 등 세부 사항 미공개
향후 전망
- 모델이 평가받는 상황을 인식하고 테스트 시에만 좋은 행동을 하는 위험이 커지면서 훈련 과정 전반에 대한 접근의 중요성 증가
- 입법적 뒷받침 없이는 평가자의 실질적 독립성 확보가 어려울 전망