🧩 Токенайзер: как AI видит текст
AI не читает буквами и словами. Он видит «токены» — куски текста. Вставь что угодно и увидь, как твой текст превращается в токены.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 токенов49 символов2.9 символа/токен
🍓 Почему AI не может посчитать буквы
«strawberry» для AI — это 2-3 токена, а не 10 букв. Он не видит отдельные буквы «r» внутри токена — поэтому часто ошибается в подсчёте букв. Теперь ты знаешь, почему.
💸 Твой язык может быть «дороже»
Одна и та же фраза на разных языках = разное число токенов. Русский и многие языки часто «дороже» английского — больше токенов, значит дороже и медленнее у AI. Смотри:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Окно контекста: почему AI «забывает»
У AI ограниченная память — «окно контекста». Когда токенов становится слишком много, самые старые вылетают, и AI «забывает» начало разговора.
17 / 8,000 токенов использовано