Az AI költségoptimalizálás az a gyakorlat, ahol az LLM-alapú rendszered havi költségét tudatosan csökkented anélkül, hogy a minőség romlana. A klasszikus probléma: egy AI-rendszer „csendben” elköthet havi 500-5000 dollárt, és sokszor a felénél olcsóbban is megoldható lenne. A 2026-os állapotban az AI-tokenek és modellek között nagy ár-különbségek vannak (GPT-4o vs. GPT-4o-mini = 17x különbség), és pár alapvető optimalizálási minta 60-80%-os költség-csökkentést hozhat.
Így is ismerheted
Magyarul AI költség-csökkentés, LLM költség-menedzsment, tokenköltség-optimalizáció. Angolul AI cost optimization, LLM cost management, token cost reduction.
Mik a fő költség-tényezők?
Hét fő tényező, ami az AI-számládat alakítja:
- Modell-választás — GPT-4o $2.50/$10 vs GPT-4o-mini $0.15/$0.60 millió tokenenként. 17x különbség.
- Prompt-hossz — minden token költségbe kerül. Egy 2000 tokenes prompt vs 500 tokenes = 4x költség.
- Output-hossz — az output 4x drágább mint az input általában.
- Hívás-szám — egy nap 10000 hívás vs 1000 hívás = 10x.
- Context window-méret — nagyobb prompt = több input token.
- Cache-arány — a cache-elt promptok 50-90%-kal olcsóbbak.
- Magyar nyelv-tényező — magyar szöveg ~2x annyi tokent használ mint angol.
10 konkrét optimalizációs technika
1. Modell-választás feladat-szerint: ne mindig GPT-4o-t használj. A kategorizálás, struktúrált kinyerés feladatra a GPT-4o-mini bőven elég, 17x olcsóbb. Csak kreatív / komplex feladatra GPT-4o.
2. Rövidebb rendszerprompt: minden hívásnál input. Egy 2000 tokenes rendszerprompt × 10000 hívás = 20M token. Ha 800-ra rövidítheted, megtakarítasz 12M tokent havonta.
3. max_tokens paraméter: az output-hosszt korlátozd. Ne hagyd a modellt szabadon „kifutni” — 500-1000 token gyakran elég, és olcsóbb mint 2000.
4. Prompt-cache: az OpenAI és Anthropic mindkettő támogatja. A változatlan prompt-részek 50-90%-kal olcsóbbak a 2. hívástól. A rendszerpromptot tedd a prompt elejére, hogy cache-elve maradjon.
5. Batch API: az OpenAI Batch API 50%-os kedvezményt ad, ha a választ 24 órán belül vársz. Nem-real-time feladatokra (riportolás, tömeges kategorizálás) ideális.
6. Few-shot példák csökkentése: minden few-shot példa nő a tokenszám. Néha 3 példa éppolyan jó mint 8.
7. JSON-output kompakt: a strukturált JSON kevesebb tokent használ mint a szabad-szöveges válasz.
8. RAG-stratégia: hosszú dokumentum-elemzésnél ne tegyél mindent a promptba. Csak a releváns 5-10 chunk-ot húzd elő.
9. Streaming + early termination: ha a modell kimenete valami feltétel mellett már „elég”, állítsd le a generálást. Megtakarít kimeneti tokeneket.
10. Saját adatra cache: a gyakori kérdés-válaszokat (FAQ-szerű) egy saját DB-be cache-eld. Ha újra ugyanaz a kérdés jön, ne hívd az LLM-et.
Tipikus megtakarítás-eredmény
Egy klasszikus chatbot előtt-utáni példa:
- Eredeti: GPT-4o, 1500 tokenes rendszerprompt, 800 token átlag output, 10000 hívás/hó. Havi költség: ~$200.
- Optimalizált: GPT-4o-mini-re váltás, 600 tokenes rendszerprompt, max_tokens=400, cache-elt rendszerprompt. Havi: ~$15. Megtakarítás: 92%.
Mire figyelj?
Az első tipp: mérj előbb, optimalizálj utána. Az OpenAI Dashboard-on lásd, mi a legnagyobb költség-tényező. Ott optimalizálj.
A második: ne áldozd a minőséget. Egy túl olcsó modell rosszabb választ ad, ami felhasználói panasz. Tesztelj.
A harmadik: állíts havi hard cap-et. Egy buggy script egy éjszaka alatt elköthet 1000+ dollárt. Az OpenAI / Anthropic mindkettő támogatja a havi limitet.
A negyedik: monitorozz folyamatosan. Heti / havi átnézés: van-e anomália? Hirtelen megugrott a fogyasztás?
Ha cégednél AI-rendszer üzemelteted, és optimalizálni szeretnéd a költséget, az AI és automatizáció szolgáltatásunkba beépítve segítünk. Kapcsolódó: token, OpenAI API, AI monitoring és LLMOps.
