AI 요약
Lenny's Newsletter의 'How I AI' 진행자 Claire Vo가 개인 에이전트 4종(Grok Bot, Dot, Meta Muse, Claude Duet)을 9가지 실제 업무로 비교 평가한 벤치마크를 공개했다. Slack 답장, Sentry 버그 수정, Figma 썸네일 제작, 받은편지함 정리, 가족 신문 만들기, 초등학생 물리 숙제 설명, 신발 쇼핑 등 업무와 일상 과제를 모두 포함했다. 컴퓨터 사용(computer use) 기능으로 에이전트를 직접 조작하고 Codex로 채점하는 방식으로 진행됐다. 결과적으로 "업무용"과 "일상용"으로 신뢰할 수 있는 에이전트가 갈렸다는 결론을 제시한다.
핵심 포인트
- Grok Bot, Dot, Meta Muse, Claude Duet 4종을 9개 실전 과제로 비교
- Slack 답장부터 신발 쇼핑, 4학년 물리 숙제까지 업무·일상 혼합 과제 구성
- Claude가 Dot을, Codex가 나머지를 운영하며 실시간 채점하는 방식 사용
- 최종 점수와 함께 "업무용 vs 일상용" 에이전트 추천을 제시
향후 전망
- 개인 에이전트의 실사용 성능을 가늠할 수 있는 벤치마크 방법론으로 확산 가능
- 에이전트별 강점에 따라 업무/일상 용도 분화가 심화될 전망
출처:Lenny's Newsletter
