🧩 Tokenizer: hoe AI tekst ziet
AI leest geen letters en woorden. Hij ziet “tokens” – stukjes tekst. Plak alles en zie hoe uw tekst in tokens verandert.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 tokens49 karakters2.9 karakter/token
🍓 Waarom AI geen letters kan tellen
“aardbei” voor AI is 2-3 tokens, niet 10 letters. Hij ziet de afzonderlijke letters "r" niet in het token - dus maakt hij vaak fouten bij het tellen van de letters. Nu weet je waarom.
💸 Uw taal kan “duurder” zijn
Dezelfde zin in verschillende talen = verschillend aantal tokens. Russisch en veel talen zijn vaak “duurder” dan Engels – meer tokens betekenen duurder en langzamer voor AI. Kijk:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Contextvenster: waarom AI “vergeet”
AI heeft een beperkt geheugen – een ‘contextvenster’. Als er te veel tokens zijn, vliegen de oudste eruit en ‘vergeet’ de AI het begin van het gesprek.
17 / 8,000 tokens gebruikt