🧩 Tokenizer : comment l'IA voit le texte
L'IA ne lit ni les lettres ni les mots. Il voit des « jetons » – des morceaux de texte. Collez n'importe quoi et voyez comment votre texte se transforme en jetons.
🍓 Pourquoi l'IA ne peut pas compter les lettres
« Fraise » pour l'IA est composée de 2-3 jetons, pas de 10 lettres. Il ne voit pas les lettres « r » individuelles à l’intérieur du jeton – il fait donc souvent des erreurs en comptant les lettres. Maintenant vous savez pourquoi.
💸 Votre langue est peut-être « plus chère »
La même phrase dans différentes langues = nombre de jetons différent. Le russe et de nombreuses langues sont souvent « plus chers » que l'anglais - plus de jetons signifient plus cher et plus lent pour l'IA. Regarder:
🧠 Fenêtre contextuelle : pourquoi l’IA « oublie »
L’IA a une mémoire limitée – une « fenêtre de contexte ». Lorsqu'il y a trop de jetons, les plus anciens s'envolent et l'IA « oublie » le début de la conversation.
17 / 8,000 jetons utilisés