AI 요약
기존의 LLM 기반 웹 에이전트들은 대규모 자동화 시 높은 토큰 비용과 실행의 불확실성이라는 한계에 직면해 있습니다. 특히 외부 프로세스에서 사이트의 내부 API를 직접 호출하려 할 때 쿠키, CSRF 토큰, 요청 서명(signing) 등 복잡한 인증 메커니즘을 재구현하는 것이 가장 큰 난제입니다. rtrvr.ai가 공개한 'AI Subroutines'는 브라우저 확장 프로그램을 통해 웹페이지 내부에서 직접 네트워크 요청을 기록하고 재현하는 혁신적인 접근법을 제시합니다. 이 도구는 MAIN-world fetch/XHR 패치와 Chrome의 webRequest API를 병행 사용하여, 별도의 세션 재구축 없이 브라우저 고유의 환경(동일 출처, 쿠키, TLS 세션 등)을 그대로 활용합니다. 이를 통해 수백 개의 무의미한 분석용 요청 사이에서 핵심적인 API 호출만을 선별하여 LLM에 전달함으로써 효율성을 극대화합니다. 결과적으로 개발자는 복잡한 인증 우회 로직 없이도 결정론적이고 경제적인 브라우저 자동화를 구현할 수 있게 되었습니다.
핵심 인사이트
- 자동화의 결정성 확보: UI 클릭 방식의 에이전트가 겪는 '잘못된 버튼 클릭' 오류를 배제하고 사이트 내부 API를 직접 호출하여 실행 신뢰도를 높임.
- 인증(Auth) 문제의 근본적 해결: 쿠키, 회전하는 CSRF 토큰, 지문 바인딩 파라미터 등을 브라우저의 실행 컨텍스트 내에서 추가 비용 없이 처리.
- 토큰 경제성 개선: 매 실행마다 LLM이 화면을 해석할 필요 없이, 기록된 API 서브루틴을 재실행함으로써 호출 당 토큰 비용과 지연 시간을 획기적으로 단축.
- 정밀한 데이터 캡처: JSON 외에도 FormData, Blob, Raw bytes를 모두 지원하며, 수백 개의 요청 중 유효한 요청(예: 300개 중 3개)만 선별하는 기술 적용.
주요 디테일
- In-Page 실행 아키텍처: 별도의 Puppeteer 드라이버나 헤드리스 워커 없이 브라우저 탭 자체의 JS 실행 컨텍스트를 활용하여 사이트의 자체 JS가 헤더를 계산하게 함.
- 이중 레이어 가로채기: 페이지 스크립트 실행 전 MAIN-world fetch/XHR 패치를 설치하고, 보이지 않는 서비스 워커 경로는 Chrome webRequest API로 보완.
- 세션 유지의 용이성: 별도의 프록시 로테이션이나 세션 재구축 없이, 사용자가 로그인한 브라우저의 기존 TLS 세션과 인증 상태를 그대로 계승.
- 노이즈 필터링: 분석용 비컨(Analytics), 픽셀, 미디어 청크 등 자동화와 무관한 수많은 네트워크 요청을 필터링하여 LLM의 컨텍스트 윈도우 부담을 최소화.
- 개발 생산성: 복잡한 API 엔드포인트 분석이나 인증 헤더 복제 과정 없이 확장 프로그램에서의 기록(Record)만으로 자동화 스크립트 생성이 가능.
향후 전망
- 웹 자동화 패러다임 변화: 무거운 브라우저 제어(Headless) 방식에서 가벼운 브라우저 내 API 오케스트레이션 방식으로 기술적 중심 이동이 예상됨.
- SaaS 통합 가속화: API를 공식적으로 제공하지 않는 폐쇄적인 플랫폼에서도 LLM을 활용한 고성능 업무 자동화 도구 개발이 더욱 활발해질 전망.