🧩 Tokenizer：人工智能如何看待文本
人工智能不读取字母和单词。他看到了“标记”——一段文本。粘贴任何内容，看看您的文本如何变成标记。
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 代币49 人物2.9 字符/标记
🍓 为什么人工智能无法数出字母
AI 的“草莓”是 2-3 个标记，而不是 10 个字母。他看不到令牌内的单个字母“r” - 因此他在计算字母时经常犯错误。现在你知道为什么了。
💸 您的语言可能“更昂贵”
不同语言中的相同短语=不同数量的标记。俄语和许多语言通常比英语“更昂贵”——更多的代币意味着人工智能更昂贵和更慢。看：
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 上下文窗口：人工智能为何“忘记”
人工智能的记忆是有限的——“上下文之窗”。当令牌太多时，最旧的令牌就会飞出去，人工智能就会“忘记”对话的开头。
17 / 8,000 使用的代币