🧩 Tokenizer: Wie KI Text sieht
KI liest keine Buchstaben und Wörter. Er sieht „Tokens“ – Textstücke. Fügen Sie alles ein und sehen Sie, wie Ihr Text in Token umgewandelt wird.
🍓 Warum KI keine Buchstaben zählen kann
„Erdbeere“ für KI besteht aus 2-3 Token, nicht aus 10 Buchstaben. Er sieht die einzelnen Buchstaben „r“ im Inneren des Tokens nicht – daher macht er oft Fehler beim Zählen der Buchstaben. Jetzt wissen Sie warum.
💸 Ihre Sprache ist möglicherweise „teurer“
Der gleiche Satz in verschiedenen Sprachen = unterschiedliche Anzahl von Token. Russisch und viele Sprachen sind oft „teurer“ als Englisch – mehr Token bedeuten teurer und langsamer für die KI. Sehen:
🧠 Kontextfenster: Warum KI „vergisst“
KI verfügt über ein begrenztes Gedächtnis – ein „Kontextfenster“. Wenn zu viele Token vorhanden sind, fliegen die ältesten heraus und die KI „vergisst“ den Beginn des Gesprächs.
17 / 8,000 verwendete Token