A token a nyelvi modellek (LLM, mint a GPT-4 vagy a Claude) alapegysége — egy szöveg-darab, ami nagyjából 3-4 karakter hosszú (angolul ~0,75 szó, magyarul ~0,5-0,7 szó). Amikor egy promptot küldesz egy AI-modellnek, az először tokenekre bontja a szöveget, és tokenenként dolgozza fel. A tokenek számolása fontos két okból: (1) az AI-szolgáltatók tokenenként számláznak (input + output külön), és (2) minden modellnek van „context window”-mérete tokenben, ami korlátozza, mennyi szöveget tudsz egyszerre feldolgozni.
Így is ismerheted
Magyarul token, szöveg-token, nyelvi token. Angolul ugyanígy: token, language model token. A token-bontás folyamata: tokenization. A token-számoló algoritmus tokenizer. Az OpenAI tokenizer-e a tiktoken; az Anthropic-é a cl100k_base-szerű; minden modell-családnak saját változata van.
Miért fontos cégeknek a token-tudás?
Három fő üzleti hatás:
Költség-tervezés: a havi AI-számlát közvetlenül a tokenek határozzák meg. Ha tudod, mennyi tokent fogyaszt egy átlagos hívás, megjósolhatod a havi költséget. Egy chatbot átlagos beszélgetése ~1000-3000 token = 0.05-1 dollár (modelltől függően).
Context window: a modell egyszerre csak X tokent „lát”. GPT-4o: 128k token (~96000 szó, ~300 oldal). Hosszabb dokumentumot fel kell darabolni (chunking), vagy RAG-architektúrát építeni.
Optimalizáció: rövidebb promptok, tömör outputok kérése (max_tokens paraméter), prompt-cache-elés — mind a tokenköltséget csökkentik.
Hogyan számolódnak a tokenek?
A tokenizer-algoritmus szöveg-darabokra (subword units) bontja a szöveget. Magyarra néhány példa:
- „kutya” → 1 token
- „kutyaszánkó” → 2 token (kutya + szánkó)
- „a” → 1 token
- „automatizáció” → 3-4 token (a magyar szóhasznosító nem volt a tréning-adatban gyakori)
- „abc” számjegyek és írásjelek → 1-1 token
A magyar átlag: 1 szó = 1,5-2 token (angolban 1 szó = 0,75 token). Magyar promptok tehát nagyjából 2x többe kerülnek mint az angolok, ugyanannyi tartalomért.
Tokenárak 2026-ban (példa)
A főbb modellek input/output ára millió tokenenként:
- GPT-4o-mini: $0.15 / $0.60
- GPT-4o: $2.50 / $10
- Claude Haiku: $0.25 / $1.25
- Claude Sonnet: $3 / $15
- Claude Opus: $15 / $75
- Llama 3.1 (önhostolt): csak a hardver / cloud-szervera költsége
Egy átlagos chatbot-beszélgetés (5 forduló, 200 token input + 300 token output átlag) GPT-4o-mini-n ~0.001 dollár, GPT-4o-n ~0.015 dollár. Havi 5000 beszélgetés tehát 5-75 dollár.
Token-optimalizációs technikák
Néhány bevált módszer a költség csökkentésére:
- Rövidebb rendszerprompt — minden hívásnál inputként megy. Egy 2000 tokenes rendszerprompt drága.
- max_tokens paraméter — korlátozd az output-hosszt.
- Olcsóbb modell — sok feladatra a GPT-4o-mini bőven elég, 10-20x olcsóbban mint GPT-4o.
- Prompt-cache — a gyakori promptok cache-elve (50-90% kedvezmény a cache-elt részeken).
- Few-shot példák ritkítása — minden few-shot példa nő a tokenszám.
- JSON output kompakt — kötött formátum kevesebb token mint szabad-szöveg.
Mire figyelj?
Az első tipp: becsüld a havi költséget a bevezetés előtt. Egy egyszerű számítás: (átlag hívás-token) × (havi hívás-szám) × (ár / millió token).
A második: monitorozd a tényleges fogyasztást. Az OpenAI / Anthropic Dashboard mutatja. Heti / havi átnézés, és anomáliák azonnali kivizsgálása.
A harmadik: állíts havi limitet. Egy buggy script egy éjszaka alatt elköthet 1000 dollárt.
A negyedik: vigyázz a magyar nyelvre. A magyar szöveg ~2x annyi tokent „nyel” mint az angol. Tervezz erre.
Ha cégednél AI-rendszert vezetsz be és optimalizálni szeretnéd a tokenköltséget, az AI és automatizáció szolgáltatásunkba beépítve segítünk: prompt-optimalizáció, modell-választás, cache-stratégia. Részletes infó az OpenAI API és context window cikkekben.
