🧩 Tokenizer: cómo la IA ve el texto
La IA no lee letras ni palabras. Ve "fichas", fragmentos de texto. Pega cualquier cosa y observa cómo tu texto se convierte en tokens.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 fichas49 personajes2.9 personaje/ficha
🍓 Por qué la IA no puede contar letras
"fresa" para la IA son 2-3 fichas, no 10 letras. No ve las letras individuales "r" dentro de la ficha, por lo que a menudo comete errores al contar las letras. Ahora sabes por qué.
💸 Tu idioma puede ser “más caro”
La misma frase en diferentes idiomas = diferente número de tokens. El ruso y muchos idiomas suelen ser “más caros” que el inglés: más tokens significan más caro y más lento para la IA. Mirar:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Ventana de contexto: por qué la IA "olvida"
La IA tiene una memoria limitada: una "ventana de contexto". Cuando hay demasiadas fichas, las más antiguas salen volando y la IA "olvida" el comienzo de la conversación.
17 / 8,000 fichas utilizadas