🧩 Tokenizer: como a IA vê o texto
AI não lê letras e palavras. Ele vê “tokens” – pedaços de texto. Cole qualquer coisa e veja como seu texto se transforma em tokens.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 fichas49 personagens2.9 personagem/token
🍓 Por que a IA não consegue contar letras
“morango” para IA tem 2-3 tokens, não 10 letras. Ele não vê as letras "r" individuais dentro do token - então muitas vezes comete erros ao contar as letras. Agora você sabe por quê.
💸 Seu idioma pode ser “mais caro”
A mesma frase em idiomas diferentes = número diferente de tokens. O russo e muitos idiomas costumam ser “mais caros” que o inglês – mais tokens significam mais caro e mais lento para a IA. Olhar:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Janela de contexto: por que a IA “esquece”
A IA tem uma memória limitada – uma “janela de contexto”. Quando há muitos tokens, os mais antigos voam e a IA “esquece” o início da conversa.
17 / 8,000 tokens usados