👁️ Waar AI naar kijkt: aandachtsmechanisme
Om een zin te begrijpen, ‘kijkt’ AI naar verwante woorden - dit is een aandachtsmechanisme. Klik op een gemarkeerd woord en kijk op welke woorden het model let om de betekenis te achterhalen. Voorbeelden in het Engels - het is duidelijker met het voornaamwoord “it”.
👆 Klik op het woord ‘it’ en je ziet waar het naar verwijst
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Dat is wat ‘aandacht’ is
Het aandachtsmechanisme is het hart van de transformator (de T in GPT). Voor elk woord beslist het model naar welke andere woorden moet worden “gekeken” om de betekenis te begrijpen. Dit is hoe de AI begrijpt dat “het” een “trofee” is en geen “koffer”. Duizenden van dergelijke verbindingen tegelijk - en je krijgt inzicht in de taal.