AI 요약
AI 도구를 집중적으로 사용해온 기자가 월 100달러를 추가로 지출할 뻔한 경험을 공유한다. 오랜 기간 유지한 대화 스레드가 일관된 출력을 보장한다고 생각했지만, Codex에서 이 방식이 토큰을 과도하게 소모한다는 사실을 발견했다. AI는 대화의 맥락을 스스로 알지 못하고 전송된 프롬프트만 알기 때문에, 스레드의 맥락을 제공하기 위해 매번 전체 대화 내용이 함께 전송되면서 토큰이 급격히 소진되는 것이다. 이에 대한 해결책으로 스레드 방식을 변경하여 토큰 사용량을 절약했다.
핵심 포인트
- ChatGPT와 Gemini는 관대한 사용량 제한이 있지만, Claude와 Codex는 전반적으로 사용량 제한이 적용됨
- 긴 스레드에서 메시지를 보낼 때마다 전체 대화 맥락이 AI에 함께 전송되어 토큰을 대량 소모
- 기자는 월 100달러를 추가 지출해야 할 위기에 처했으나 단순한 사용 방식 변경으로 해결
- 일관된 출력을 위해 긴 스레드를 유지하는 방식이 반드시 효율적이지 않음을 발견
향후 전망
- AI 사용량이 증가함에 따라 토큰 효율적 사용 전략의 중요성 증가
- AI 도구별 사용량 제한 정책 차이를 고려한 도구 선택 필요