AI 요약
인터컴의 수석 엔지니어 브라이언 스캔런(Brian Scanlan)은 AI 에이전트 도구인 Claude Code를 도입하여 9개월 만에 엔지니어링 처리량을 2배로 높인 구체적인 전략을 공개했습니다. 인터컴은 단순히 도구를 배포하는 데 그치지 않고, 엔지니어링 조직 자체를 하나의 '제품'처럼 관리하며 Honeycomb과 S3를 활용해 모든 AI 사용 데이터를 수집하고 분석했습니다. 이러한 가시성 확보는 AI 도입의 병목 현상을 파악하고 엔지니어들이 서로의 활용 사례를 참고할 수 있는 대시보드 구축으로 이어졌습니다. 특히 이번 성과는 탄탄한 CI/CD 파이프라인과 포괄적인 테스트 커버리지라는 기반 위에서 가능했으며, AI가 가진 증폭 효과를 극대화하여 기술 부채를 해결하는 비용을 획기적으로 낮췄습니다. 결과적으로 인터컴은 스탠퍼드 연구진과의 협업을 통해 코드 품질 지표가 향상되었음을 확인하며, AI가 속도와 품질을 동시에 잡을 수 있음을 증명했습니다.
핵심 인사이트
- 생산성 2배 향상: Claude Code 도입 후 9개월 만에 R&D 직원 1인당 병합된 PR(Pull Request) 수가 100% 증가함.
- 데이터 기반 관리: Honeycomb으로 스킬 호출을 추적하고, S3에 익명화된 세션 데이터를 저장하여 엔지니어링 지표를 정밀하게 측정함.
- 기술 부채의 급감: 스탠퍼드(Stanford) 연구진과의 파트너십 결과, 코드 품질 지표가 상승했으며 에이전트가 수 분기 분량의 기술 부채 해결 작업을 단 몇 시간 만에 수행함.
- 리더십의 책임 부여: 브라이언 스캔런은 엔지니어들에게 실험 권한을 부여하고, 문제 발생 시 리더가 책임을 지는 구조를 통해 AI 도입의 문화적 장벽을 제거함.
주요 디테일
- 커스텀 기술(Custom Skills) 활용: Claude Code가 GitHub CLI를 직접 사용하는 것을 차단하고, 맥락이 풍부한 PR 설명을 강제로 작성하게 하는 가드레일을 구축함.
- 기본 역량의 중요성: AI는 조직의 강점과 약점을 모두 증폭시키므로, 배포 파이프라인이 부실하면 고장 난 코드를 더 빨리 배포하게 될 뿐임을 경고함.
- 가시성 대시보드: 엔지니어들이 동료들의 AI 활용 방식과 자신의 성과를 비교할 수 있는 전용 대시보드를 구축하여 자발적인 학습 유도함.
- 실무 중심 실험: 지하철에서 휴대폰으로 코드를 배포하거나, 이메일 인증을 우회하는 CLI를 구축하는 등 파격적인 AI 실험을 장려함.
- 비용 절감 효과: 내부 프로젝트 실행 비용이 거의 '제로'에 수렴하면서, 과거에는 논의만 하던 개발자 경험(DX) 개선 작업을 실제로 실행에 옮기게 됨.
향후 전망
- AI 에이전트가 내부 기술 부채 해결과 시스템 개선 작업을 전담하게 되면서, 엔지니어링 조직의 초점이 단순 구현에서 아키텍처 설계와 비즈니스 가치 창출로 이동할 것임.
- 기술 리더의 역할이 단순한 관리에서 AI 도구를 활용한 실험적 문화를 조성하고 기술적 가드레일을 설계하는 방향으로 고도화될 전망임.
출처:lennys_newsletter