🧩 Tokenizer: cara AI melihat teks
AI tidak membaca huruf dan kata. Dia melihat "token" - potongan teks. Tempel apa saja dan lihat bagaimana teks Anda berubah menjadi token.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 token49 karakter2.9 karakter/tanda
🍓 Mengapa AI tidak bisa menghitung huruf
“strawberry” untuk AI adalah 2-3 token, bukan 10 huruf. Dia tidak melihat satu per satu huruf "r" di dalam token - jadi dia sering membuat kesalahan dalam menghitung huruf. Sekarang Anda tahu alasannya.
💸 Bahasa Anda mungkin “lebih mahal”
Frasa yang sama dalam bahasa berbeda = jumlah token berbeda. Bahasa Rusia dan banyak bahasa seringkali “lebih mahal” daripada bahasa Inggris – lebih banyak token berarti lebih mahal dan lebih lambat untuk AI. Lihat:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Jendela konteks: mengapa AI “lupa”
AI memiliki memori yang terbatas - sebuah "jendela konteks". Ketika ada terlalu banyak token, yang tertua akan terbang keluar, dan AI “lupa” awal percakapan.
17 / 8,000 token yang digunakan