AI 거물들, 데이터 스크래핑 거부 새 방식에 힘 싣는다

“오픈AI, 구글, 마이크로소프트, 앤스로픽이 웹사이트 robots.txt 파일에 '정책 토큰' 신호를 넣어 여러 AI 기업에 대해 한 번에 학습 데이터 스크래핑 거부 의사를 표시할 수 있는 새 표준을 도입한다. 앤스로픽은 이미 채택했고 구글과 마이크로소프트는 내년, 오픈AI는 향후 몇 달 내 지원할 예정이다.”

AI 요약

오픈AI, 구글, 마이크로소프트, 앤스로픽 등 주요 AI 기업들이 퍼블리셔가 AI 스크래핑을 거부할 수 있는 새로운 표준을 도입하기로 했다. 이 방식은 퍼블리셔가 여러 AI 기업에 개별적으로 설정하던 AI 학습 선호를 한 번에 적용할 수 있게 해준다. 앤스로픽의 표준 기술 책임자 케빈 켈리가 IETF에 제안한 공유 '정책 토큰' 신호로, 웹사이트의 robots.txt 파일 내에 위치한다. 이는 AI 크롤러의 콘텐츠 스크래핑 증가로 퍼블리셔들이 어려움을 겪는 가운데 나온 발표다.

핵심 포인트

  • 오픈AI·구글·마이크로소프트·앤스로픽이 공유 '정책 토큰' 표준 채택에 합의
  • 신호는 웹사이트 robots.txt 파일 내에 위치하며 여러 AI 기업에 선호를 일괄 적용
  • 앤스로픽은 이미 신호를 채택했고, 구글·마이크로소프트는 내년, 오픈AI는 "향후 몇 달 내" 구현 예정
  • 마이크로소프트는 AI 학습 또는 AI 그라운딩 거부를 선택할 수 있는 더 세분화된 제어 기능도 제공

향후 전망

  • RSL 표준, 클라우드플레어의 기본 차단 등과 함께 퍼블리셔 보호 수단이 다각화될 전망
  • 각 사의 구현 시점이 달라 표준의 실질적 정착까지는 시간이 걸릴 것으로 예상
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...