AI 요약
리눅스 커널 개발 저장소인 git.kernel.org가 AI 크롤러(스크레이퍼)의 과도한 접근으로 심각한 시스템 부하를 겪고 있다. 크롤러들이 git 저장소를 클론하는 효율적인 방식 대신, 148만 개의 커밋을 HTML로 렌더링해 파싱하는 비효율적인 방식을 사용하고 있어, 정상적인 접근보다 더 많은 CPU 사이클을 소비하고 있다. 특히 922개의 포크 저장소에 대해 수십억 개의 유효 URL을 생성해 중복 스크래핑을 수행하고 있어, 5개 지리적 분산 노드에서 14개 CPU 코어가 상시 크롤러용 HTML 렌더링에 할당된 상태다.
핵심 포인트
- linux.git은 약 148만 개의 커밋, git.kernel.org에는 922개 포크 존재
- 크롤러가 커밋을 HTML로 렌더링하는 방식으로 스크래핑해 정상 접근보다 더 많은 CPU 사용
- 5개 지리 분산 노드에서 14개 CPU 코어가 상시 크롤러용 렌더링에 할당
- 단일 포크 기준 12억 개 이상의 유효 URL 생성 가능
향후 전망
- robots.txt 준수하지 않는 AI 크롤러에 대한 IP 차단 등 기술적 대응 필요
- AI 학습 데이터 수요 증가에 따라 커뮤니티 기반 오픈소스 인프라 보호 정책 강화 전망
출처:hackernews