AI 요약
AI 제품 개발에서 평가(Evals)는 이제 AI PM의 핵심 역량으로 자리잡고 있다. Hamel Husain과 Shreya Shankar는 50개 이상의 AI 기업과 협업한 경험을 바탕으로, 대부분의 팀이 측정 지표 작성으로 바로 뛰어들어 잘못된 것을 측정하는 실수를 범한다고 지적한다. 이들은 대부분의 팀이 건너뛰는 "오류 발견(error discovery)" 단계의 중요성과 자동화 가능/불가능한 단계를 구분하는 방법을 제시한다. Shopify, Cursor, Ramp, Harvey 등 주요 기업들이 평가 시스템 도입으로 성능 향상과 비용 절감을 달성한 사례를 소개한다.
핵심 포인트
- Shopify는 평가를 활용해 AI 워크플로우 빌더를 2.2배 빠르고 68% 저렴하게 개발
- Cursor는 Auto Balance 라우팅 성능을 평가로 개선해 비용 41% 절감 및 사용자 만족도 향상
- Ramp는 온디바이스 모델의 영수증 매칭 정밀도를 35%에서 83%로 향상
- Anthropic의 Mike Krieger는 "평가 작성이 이제 가장 중요한 것"이라고 강조
향후 전망
- 평가 작성 능력은 AI PM 채용 공고의 필수 요건으로 더욱 확산될 전망
- 코딩 에이전트가 평가 작업의 상당 부분을 자동화하는 무료 플러그인 등 도구 생태계 확대 예상
출처:lennys_newsletter