🧩 Токенайзер: як AI бачить текст
AI не читає літерами та словами. Він бачить "токени" - шматки тексту. Встав будь-що і побач, як твій текст перетворюється на токени.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 токенів49 символів2.9 символу/токен
🍓 Чому AI не може порахувати літери
"strawberry" для AI - це 2-3 токена, а не 10 букв. Він не бачить окремі літери «r» усередині токена, тому часто помиляється в підрахунку літер. Тепер ти знаєш чому.
💸 Твоя мова може бути «дорожчою»
Одна й та сама фраза різними мовами = різне число токенів. Російська та багато мов часто «дорожчі» за англійську — більше токенів, отже дорожче і повільніше у AI. Дивись:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Вікно контексту: чому AI «забуває»
AI має обмежену пам'ять — «вікно контексту». Коли токенів стає занадто багато, найстаріші вилітають, і AI «забуває» початок розмови.
17 / 8,000 токенів використано