👁️ Wo die KI sucht: Aufmerksamkeitsmechanismus
Um einen Satz zu verstehen, „schaut“ die KI auf verwandte Wörter – das ist ein Aufmerksamkeitsmechanismus. Klicken Sie auf ein hervorgehobenes Wort und sehen Sie, auf welche Wörter das Modell achtet, um die Bedeutung zu ermitteln. Beispiele auf Englisch – mit dem Pronomen „it“ wird es deutlicher.
👆 Klicken Sie auf das Wort „es“ und Sie werden sehen, was es bedeutet
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Das ist „Aufmerksamkeit“.
Der Aufmerksamkeitsmechanismus ist das Herzstück des Transformators (das T in GPT). Für jedes Wort entscheidet das Modell, welche anderen Wörter es „ansieht“, um die Bedeutung zu verstehen. So versteht die KI, dass es sich bei „es“ um eine „Trophäe“ und nicht um einen „Koffer“ handelt. Tausende solcher Verbindungen gleichzeitig – und schon bekommt man Verständnis für die Sprache.