Ile tokenów ma Twój prompt?

Szybkie szacowanie tokenów dla Claude, GPT i Gemini obok siebie, z weryfikacją okna kontekstowego.

{{ stats.chars }} {{ __t('chars') }} · {{ stats.words }} {{ __t('words') }} · {{ stats.lines }} {{ __t('lines') }} · {{ stats.bytes }} {{ __t('bytes') }}
{{ __t('tokens_per_model') }}
{{ m.name }}
{{ estimateTokens(m).toLocaleString() }}
{{ m.note }}
{{ __t('note_label') }}: {{ __t('disclaimer') }}
{{ __t('context_check') }}
{{ __t('th_model') }} {{ __t('th_tokens') }} {{ __t('th_context') }} {{ __t('th_usage') }} {{ __t('th_status') }}
{{ row.name }} {{ row.tokens.toLocaleString() }} {{ row.context.toLocaleString() }} {{ row.pct.toFixed(1) }}% {{ __t('status_ok') }} {{ __t('status_tight') }} {{ __t('status_over') }}

Czym są tokeny?

Tokeny to bloki, na które LLM dzieli tekst. Zwykle fragmenty słów — w angielskim ~4 znaki lub ¾ słowa; w chińskim/japońskim często 1–2 tokeny na znak. Decydują o koszcie i pojemności.

Dlaczego wyniki różnią się między modelami?

Każdy provider trenuje własny tokenizer. GPT-4o używa o200k_base (~200k słownika), starsze GPT cl100k_base (100k). Claude i Gemini mają swoje. „internationalization" może mieć 4, 6+ tokenów. Największe różnice w arabskim, tajskim, CJK.

Praktyczne wskazówki

  • Zasada: 1 token ≈ 4 znaki ang., 3 znaki pl., 1–2 tokeny na znak CJK.
  • Kod i JSON zużywają więcej tokenów — zwarta notacja oszczędza.
  • Długie prompty: włącz cache — oszczędność do 90% kosztu wejścia.