프롬프트의 토큰 수는?

Claude, GPT, Gemini의 토큰을 한눈에 빠르게 추정. 컨텍스트 윈도우 점유율도 표시.

{{ stats.chars }} {{ __t('chars') }} · {{ stats.words }} {{ __t('words') }} · {{ stats.lines }} {{ __t('lines') }} · {{ stats.bytes }} {{ __t('bytes') }}
{{ __t('tokens_per_model') }}
{{ m.name }}
{{ estimateTokens(m).toLocaleString() }}
{{ m.note }}
{{ __t('note_label') }}: {{ __t('disclaimer') }}
{{ __t('context_check') }}
{{ __t('th_model') }} {{ __t('th_tokens') }} {{ __t('th_context') }} {{ __t('th_usage') }} {{ __t('th_status') }}
{{ row.name }} {{ row.tokens.toLocaleString() }} {{ row.context.toLocaleString() }} {{ row.pct.toFixed(1) }}% {{ __t('status_ok') }} {{ __t('status_tight') }} {{ __t('status_over') }}

토큰이란?

토큰은 LLM이 텍스트를 처리하기 전 분할하는 단위로 보통 단어 조각입니다. 영어는 약 4자 또는 단어의 3/4, 중국어·일본어는 한 글자에 1–2 토큰. 비용(백만 토큰 단위)과 용량(컨텍스트)을 결정합니다.

왜 모델마다 토큰 수가 다른가?

각 공급사가 자체 토크나이저를 학습합니다. GPT-4o는 o200k_base(~20만), 구 GPT는 cl100k_base(10만). Claude·Gemini도 자체 서브워드. 같은 "internationalization"이 4 / 6 / 그 이상 토큰이 될 수 있음. 비라틴 스크립트(아랍·태국·CJK)에서 차이 큼.

실용 팁

  • 팁: 1토큰 ≈ 영어 4자, 독일어 3자, CJK 한 글자에 1–2토큰.
  • 코드·JSON은 특수문자 때문에 토큰을 더 씁니다 — 압축 표기로 절감 가능.
  • 긴 시스템 프롬프트는 프롬프트 캐시 활성화 — 입력 비용 최대 90% 절감.