AI 요약
Ubie 주식회사의 프로덕트 매니저(PdM) 타구치 신겐은 2026년 4월 4일, Claude Code를 활용해 CVR(전환율) 하락 등의 원인을 자동으로 분석하는 '분석 에이전트' 운영 후기를 공개했습니다. 초기의 Text-to-SQL 방식이 가진 한계를 극복하기 위해 OpenAI의 사례를 참고한 '6층 컨텍스트' 구조를 3개 계층(데이터, 분석, 문맥)으로 재구성하여 에이전트에 적용했습니다. 특히 3,000건 이상의 dbt 모델과 복잡한 외부 요인(전염병 유행, 광고 집행 등)이 얽힌 상황에서, 에이전트가 BigQuery CLI와 연동되어 스스로 SQL을 실행하고 추론하는 '탐색적 분석' 루프를 구현한 것이 핵심입니다. 이를 통해 숙련된 분석가에게 의존하던 분석 나레지를 플러그인 형태로 전사에 배포할 수 있게 되었습니다. 결과적으로 분석의 고속화와 더불어 데이터 소스를 횡단하는 통합적인 인사이트 도출이 가능해졌습니다.
핵심 인사이트
- 3,000건 이상의 dbt 모델: Ubie의 방대한 데이터 기반에서 숙련된 분석가만이 알 수 있었던 테이블 선택 및 분석 경로를 에이전트가 학습하여 수행함.
- 3계층 구조 도입: 데이터 분석의 정확도를 높이기 위해 데이터층(데이터 정의), 분석층(분석 행동 정의), 문맥층(UI 변경, 광고, 외부 이벤트 등)으로 역할을 분담.
- 탐색적 분석 루프: 단순 쿼리 실행이 아닌, 1차 결과 해석 후 Search Console이나 Slack, JIRA 등의 데이터를 추가로 조회하는 5단계 이상의 자율 탐색 프로세스 구축.
- 2026년 4월 4일 기준: 약 3개월간의 실제 운영을 통해 분석 업무 시간을 '반나절'에서 '수 분'으로 대폭 단축하는 성과를 입증함.
주요 디테일
- 분석의 문맥화: 단순 수치 변화가 아닌 '인플루엔자 유행'이나 '구글 알고리즘 업데이트' 같은 외부 데이터와 'UI 변경' 같은 내부 이력을 결합해 원인을 특정함.
- Claude Code의 강점: BigQuery CLI를 통한 직접 쿼리 실행 및 MCP(Model Context Protocol)를 활용해 Slack, JIRA, Notion 등 이종 서비스 간 데이터를 자유롭게 통합함.
- 플러그인 기반 배포: 분석 스킬을 Markdown 파일 형태의 플러그인으로 정의하여 사내 전용 마켓플레이스를 통해 배포함으로써 분석 도구의 소프트웨어적 관리를 실현함.
- 결과 및 과정의 영속화: Claude Code가 프로젝트 디렉토리 내의 파일에 분석 과정을 기록하고 이를 다음 분석 시 자동으로 참조함으로써 지속적인 컨텍스트 유지가 가능함.
- 환각(Hallucination) 방지: 특정 영역(SEO 등)의 데이터만 주어졌을 때 발생하는 억지스러운 인과관계 도출을 '문맥층' 데이터를 통해 억제하고 분석의 신뢰성을 확보함.
향후 전망
- 분석 나레지가 개인의 경험에 머물지 않고 코드로 관리됨에 따라, 조직 전체의 데이터 활용 능력이 상향 평준화될 것으로 전망됨.
- AI 에이전트가 단순 보조 도구를 넘어 복합적인 비즈니스 의사결정을 지원하는 핵심 파트너로 진화할 것으로 보임.
출처:hatena