🧩 トークナイザー: AI がテキストをどのように認識するか
AIは文字や言葉を読みません。彼には「トークン」、つまりテキストの断片が見えます。何かを貼り付けて、テキストがどのようにトークンに変わるかを確認してください。
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 トークン49 キャラクター2.9 キャラクター/トークン
🍓 なぜAIは文字を数えられないのか
AI の「イチゴ」は 10 文字ではなく、2 ～ 3 個のトークンです。彼はトークン内の個々の文字「r」が見えないため、文字を数えるときによく間違えます。今ならその理由がわかります。
💸 あなたの言語は「より高価」である可能性があります
異なる言語の同じフレーズ = トークンの数が異なります。ロシア語や多くの言語は英語よりも「高価」であることが多く、トークンが多いほど高価であり、AI の速度が遅くなります。見て：
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 コンテキスト ウィンドウ: AI が「忘れる」理由
AI のメモリには「コンテキストの窓」という限界があります。トークンが多すぎると、最も古いものが飛び出し、AI は会話の始まりを「忘れ」ます。
17 / 8,000 使用されたトークン