🧩 Tokenizer: AI metni nasıl görüyor?
Yapay zeka harfleri ve kelimeleri okumuyor. “Belirteçleri” yani metin parçalarını görüyor. Herhangi bir şeyi yapıştırın ve metninizin nasıl belirteçlere dönüştüğünü görün.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 jetonlar49 karakterler2.9 karakter/belirteç
🍓 Yapay zeka neden harfleri sayamıyor?
AI için “çilek” 10 harf değil, 2-3 jetondur. Jeton içindeki "r" harflerini tek tek göremiyor; bu nedenle harfleri sayarken sıklıkla hata yapıyor. Artık nedenini biliyorsun.
💸 Diliniz “daha pahalı” olabilir
Farklı dillerde aynı ifade = farklı sayıda jeton. Rusça ve birçok dil genellikle İngilizceden "daha pahalıdır"; daha fazla jeton, yapay zeka için daha pahalı ve daha yavaş anlamına gelir. Bakmak:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Bağlam penceresi: yapay zeka neden "unutuyor"
Yapay zekanın sınırlı bir hafızası var; bir “bağlam penceresi”. Çok fazla jeton olduğunda, en eskileri uçup gidiyor ve yapay zeka, konuşmanın başlangıcını "unutuyor".
17 / 8,000 kullanılan jetonlar