🧩 Tokenizer: cách AI nhìn thấy văn bản
AI không đọc được chữ cái và từ ngữ. Anh ta nhìn thấy “mã thông báo” - những đoạn văn bản. Dán bất cứ thứ gì và xem văn bản của bạn biến thành mã thông báo như thế nào.
🍓 Tại sao AI không thể đếm chữ cái
“dâu” cho AI là 2-3 token chứ không phải 10 chữ cái. Anh ta không nhìn thấy các chữ cái "r" riêng lẻ bên trong mã thông báo - vì vậy anh ta thường mắc lỗi khi đếm các chữ cái. Bây giờ bạn biết tại sao.
💸 Ngôn ngữ của bạn có thể “đắt hơn”
Cùng một cụm từ ở các ngôn ngữ khác nhau = số lượng mã thông báo khác nhau. Tiếng Nga và nhiều ngôn ngữ thường “đắt” hơn tiếng Anh - nhiều token hơn đồng nghĩa với việc AI đắt hơn và chậm hơn. Nhìn:
🧠 Cửa sổ ngữ cảnh: tại sao AI “quên”
AI có bộ nhớ hạn chế - một “cửa sổ ngữ cảnh”. Khi có quá nhiều mã thông báo, những mã thông báo cũ nhất sẽ bay ra ngoài và AI “quên” phần đầu của cuộc trò chuyện.
17 / 8,000 token đã sử dụng