AI 요약
오스틴에서 열린 SXSW 컨퍼런스에서 클라우드플레어 CEO 매튜 프린스는 생성형 AI의 급성장이 웹 트래픽 구조를 근본적으로 뒤바꿀 것이라고 경고했습니다. 그는 2027년이 되면 봇 트래픽의 양이 인간이 생성하는 트래픽을 넘어설 것으로 예측했는데, 이는 AI 에이전트가 사용자의 요구에 답하기 위해 수행하는 방대한 검색 작업 때문입니다. 예를 들어 인간이 쇼핑을 위해 5개의 사이트를 방문할 때, AI 봇은 정보를 취합하기 위해 1,000배인 5,000개의 사이트를 훑으며 실제 네트워크 부하를 일으킵니다. 과거 전체 트래픽의 20% 수준에 불과했던 봇 트래픽은 이제 생성형 AI의 데이터 확보 경쟁으로 인해 급속히 팽창하고 있습니다. 프린스 CEO는 이러한 변화에 대응하기 위해 필요할 때 즉시 생성되고 작업 종료 후 파기되는 AI 에이전트 전용 '샌드박스' 인프라 구축의 중요성을 강조했습니다.
핵심 인사이트
- 클라우드플레어 CEO 매튜 프린스는 2027년까지 봇 트래픽이 인간 트래픽을 추월할 것이라고 SXSW 컨퍼런스 인터뷰에서 전망함.
- AI 에이전트는 동일한 작업(예: 쇼핑 검색) 수행 시 인간보다 약 1,000배 더 많은 웹사이트를 방문함 (인간 5곳 방문 시 AI는 5,000곳 방문).
- 생성형 AI 시대 이전의 봇 트래픽은 전체의 약 20% 수준이었으며, 구글(Google)의 웹 크롤러가 가장 큰 비중을 차지했었음.
- 클라우드플레어는 전 세계 모든 웹사이트의 약 1/5(20%)에 인프라와 보안 서비스를 제공하고 있어 전 세계 트래픽 추이를 정밀하게 파악 중임.
주요 디테일
- 생성형 AI의 데이터에 대한 '갈구(insatiable need)'가 봇 트래픽 급증의 근본 원인으로 분석됨.
- 과거 봇 트래픽이 신뢰할 수 있는 크롤러와 악성 행위자로 구분되었다면, 현재는 생성형 AI 봇이 새로운 주류로 부상함.
- 웹 환경의 변화에 대응하기 위해 AI 에이전트를 실시간으로 실행하고 폐기할 수 있는 가상 공간인 '샌드박스(Sandbox)' 기술이 필요함.
- 사용자가 브라우저에서 새 탭을 여는 것처럼 쉽게 새로운 코드를 실행하여 AI 에이전트를 구동하는 하부 인프라가 설계되어야 함.
- 향후 매초 수백만 개의 AI 에이전트용 샌드박스가 생성되고 운영되는 시대를 맞이하게 될 것임.
향후 전망
- 온라인 서비스 제공자들은 인간 트래픽보다 훨씬 거대한 AI 봇 트래픽 부하를 견디기 위해 인프라를 재설계해야 할 것으로 보임.
- AI 에이전트가 소비자를 대신해 여행 계획이나 쇼핑 등을 수행하는 과정이 일상화되면서 웹 사용의 주체가 인간에서 봇으로 전환될 것임.