AI 요약
대규모 언어 모델(LLM) 서비스의 과금 체계는 사용자가 체감하는 글자 수나 메시지 건수가 아니라, 모델이 정보를 처리하는 최소 단위인 'Token'을 기반으로 설계되어 있습니다. 텍스트의 경우 분리 도구인 토크나이저(Tokenizer)를 통해 조각으로 나뉘며, 특수 기호, 공백, 코드, 복잡한 JSON 구조 등은 일반 텍스트보다 더 많은 토큰을 소모합니다. 이러한 원칙은 이미지, 오디오, 비디오와 같은 다모달 데이터에도 동일하게 적용되는데, 각 데이터는 시각적 패치(Patch)나 시간적 조각(Time slice)으로 인코딩되어 토큰화됩니다. 특히 비디오의 경우 샘플링된 프레임 이미지, 오디오 트랙, 텍스트 컨텍스트가 결합된 복합적인 토큰 소모 구조를 가집니다. 사용자가 중계 플랫폼이나 API를 이용할 때 발생하는 비용 차이를 이해하려면 이러한 토큰의 정의와 모델별 처리 방식의 차이를 파악하는 것이 필수적입니다.
핵심 인사이트
- 토큰 기반 과금 체계: 대다수 AI 기업은 자연어의 '자수'가 아닌, 내부 계산 단위인 'Token'을 사용하며 통상 100만 토큰(Million Token)당 가격을 공시합니다.
- 다모달 토큰화(Multimodal Tokenization): 이미지와 오디오도 고정된 비용이 아니라 해상도(Resolution), 샘플링 레이트, 인코딩 방식에 따라 계산 유닛(Visual/Acoustic Tokens)으로 환산됩니다.
- 코드 및 정형 데이터의 고비용성: JSON, URL, 코드 스니펫 등은 특수 기호와 인덴트가 많아 일반 텍스트에 비해 토큰 사용량이 급격히 증가하는 경향이 있습니다.
- 비디오 비용의 복합성: 비디오 비용은 초당 프레임 수(FPS), 해상도, 오디오 분석 여부, 텍스트 컨텍스트 비용의 합산으로 결정됩니다.
주요 디테일
- 텍스트 처리: 영어는 대략 단어 단위로 나뉘지만, 희귀 단어나 한글 같은 비영어권 언어, 코드 기호 등은 여러 개의 토큰으로 쪼개질 수 있어 비용 예측 시 주의가 필요합니다.
- 이미지 과금 변수: 이미지 크기 조절(Scaling), 고정밀 모드(High detail mode) 사용 여부, OCR 및 표 분석 기능 포함 여부에 따라 토큰 소모량이 가변적입니다.
- 오디오 과금 변수: 단순히 파일 크기가 아닌 재생 시간(Duration), 실시간 처리 여부, 화자 분리 및 타임스탬프 추출과 같은 추가 기능에 따라 비용이 달라집니다.
- 컨텍스트 유지 비용: 대화가 길어질수록 과거의 대화 기록이 입력(Input) 토큰으로 매번 다시 포함되어 전체 과금액을 높이는 요인이 됩니다.
- 플랫폼별 비교 불가: 업체마다 시각 인코딩 방식(Patch vs Tile)이 다르고, 이미지를 텍스트 등가 토큰으로 변환하는 기준이 달라 단순 가격 비교가 어렵습니다.
향후 전망
- 캐싱 및 최적화 경쟁: Reasoning(추론) 모델의 등장과 긴 컨텍스트 처리가 늘어남에 따라 캐싱(Caching)을 통한 비용 절감 기술이 플랫폼 경쟁력의 핵심이 될 것입니다.
- 다모달 표준화 시도: 사용자 혼란을 줄이기 위해 이미지나 영상의 토큰 소비량을 더 직관적인 단위(예: 이미지 1장당 고정 포인트)로 단순화하려는 시도가 이어질 것으로 보입니다.
출처:juejin