🧩 Tokenizer: jak sztuczna inteligencja widzi tekst
AI nie czyta liter i słów. Widzi „żetony” – fragmenty tekstu. Wklej cokolwiek i zobacz, jak Twój tekst zamienia się w tokeny.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 żetony49 pismo2.9 znak/token
🍓 Dlaczego sztuczna inteligencja nie potrafi liczyć liter
„truskawka” dla AI to 2-3 żetony, a nie 10 liter. Nie widzi poszczególnych liter „r” wewnątrz żetonu – dlatego często popełnia błędy w liczeniu liter. Teraz wiesz dlaczego.
💸 Twój język może być „droższy”
Ta sama fraza w różnych językach = różna liczba tokenów. Rosyjski i wiele języków jest często „droższych” niż angielski - więcej tokenów oznacza droższe i wolniejsze dla AI. Patrzeć:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 Okno kontekstowe: dlaczego sztuczna inteligencja „zapomina”
Sztuczna inteligencja ma ograniczoną pamięć – „okno kontekstu”. Kiedy żetonów jest za dużo, najstarsze wylatują, a sztuczna inteligencja „zapomina” o początku rozmowy.
17 / 8,000 użyte tokeny