AI 요약
Claude 사용 시 발생하는 막대한 토큰 비용과 속도 저하 문제를 해결하기 위해, 불필요한 수식어와 경어를 제거하고 핵심 정보만 전달하게 만드는 '원시인(genshijin)' 프롬프팅 기법이 주목받고 있습니다. Julius Brussee가 개발한 영어용 'caveman' 스킬은 관사와 필러(filler)를 제거해 약 68%의 토큰을 절감하는 반면, 이를 일본어 구조에 맞게 최적화한 'genshijin'은 '입니다/습니까'와 같은 경어체와 중복 조사를 제거하여 약 80%의 절감 효과를 거둡니다. 이는 Claude의 BPE(Byte Pair Encoding) 기반 토크나이저 특성과 첫 번째 토큰이 전체 문체 방향을 결정하는 자기회귀(Autoregressive) 생성 구조를 영리하게 이용한 결과입니다. 시스템 프롬프트를 통해 인격을 '스마트한 원시인'으로 규정함으로써, 사용자는 기술적 핵심 내용은 유지하면서도 비용은 획기적으로 줄인 응답을 얻을 수 있습니다.
핵심 인사이트
- 80% 절감율: 일본어 최적화 'genshijin' 모드는 일반 응답(평균 1,483 토큰) 대비 토큰 소모량을 296 토큰 수준으로 낮춥니다.
- 영어 vs 일본어 효율: 영어 기반 'caveman'은 약 68%의 토큰을 줄이지만, 일본어 환경에서는 'genshijin'이 이보다 38% 더 높은 압축률을 보입니다.
- 경제적 이점: Claude API(Sonnet 기준 1M 토큰당 $15) 혹은 월 $100의 Max Plan 사용자에게 직접적인 비용 절감 및 할당량 증대 효과를 제공합니다.
- 자기회귀 잠금(Locking) 방지: "질문해 주셔서 감사합니다"와 같은 정중한 시작이 후속 문장을 불필요하게 길게 만드는 현상을 초기 토큰 제어로 차단합니다.
주요 디테일
- BPE 토크나이저 최적화: 의미 없는 관사("a", "the")나 필러("just", "really")가 차지하는 토큰 슬롯을 제거하여 실제 정보 밀도를 높입니다.
- 일본어 구조적 특징 반영: 영어와 달리 일본어는 문말(입니다, ~하는 것이 가능합니다 등)에 군더더기가 많아, 이를 체언형으로 종결시키는 것만으로도 압축률이 극대화됩니다.
- 시스템 프롬프트의 우선권: Anthropic의 아키텍처상 시스템 프롬프트는 사용자의 개별 요청보다 인격(Persona) 규정력이 강해 효과가 지속적입니다.
- 기술적 정확도 유지: 프롬프트에 "All technical substance stay(모든 기술적 실체는 유지하라)"라는 제약을 포함하여 코드나 핵심 로직의 손실을 방지합니다.
- 비교 예시: 일반적인 인증 미들웨어 버그 설명(67토큰)을 '원시인' 모드에서는 핵심 단어 위주(14토큰)로 전달하여 약 5배의 효율을 보여줍니다.
향후 전망
- Claude Code 및 API 활용 확산: 개발 도구인 Claude Code 사용 시 출력 토큰 비용을 획기적으로 낮추어 대규모 프로젝트 적용이 용이해질 것입니다.
- 프롬프트 엔지니어링의 정교화: 단순히 언어를 번역하는 것이 아니라, AI 모델의 토크나이저 구조에 맞춘 언어별 최적화 기법이 더욱 중요해질 전망입니다.