AI 요약
TVer의 Automation 팀이 2025년부터 릴리스 사이클 단축을 위해 릴리스 트레인을 도입하면서, 기존 수동 리그레션 테스트의 한계를 극복하기 위한 테스트 자동화 여정을 소개했다. 웹 8.6인일, iOS 4.9인일, Android 5.1인일이 소요되던 리그레션 테스트를 자동화하기 위해 프레임워크 선정보다 먼저 테스트 전략을 문서화하고, 테스트 피라미드 기반으로 정상계 사용자 시나리오와 로그 정합성 검증에 범위를 한정했다. E2E 테스트 전용 독립 환경을 구축하고, 기존 화면 요소 단위 테스트를 사용자 시나리오 기반 end-to-end 테스트로 재작성했다.
핵심 포인트
- 2025년 초 리그레션 테스트 소요: 웹 약 8.6인일, iOS 약 4.9인일, Android 약 5.1인일
- 3가지 실행 계기: main 브랜치 변경(push), 릴리스 전 검증(release 브랜치 push), 테스트 환경 데일리 체크(CI 일일 실행)
- TVer 태그, 시청 데이터 비콘, 광고 URL 파라미터 치환 등 로그계 정합성 검증을 리그레션 범위에 포함
- Web/iOS/Android 각 OS별 E2E 전용 환경을 공통 백엔드로 구성해 데이터 독립성과 재현성 확보
향후 전망
- 릴리스 트레인의 지속적 운영을 위한 자동 테스트 기반 안정화 및 "테스트를 신뢰하고 릴리스 판단하는" 문화 정착
- 사용자 시나리오 기반 테스트 자산을 활용한 추가 플랫폼 확장 및 검증 효율화
출처:hatena (TVer Tech Blog)
