👁️ Où regarde l'IA : le mécanisme d'attention
Pour comprendre une phrase, l'IA « regarde » les mots associés - il s'agit d'un mécanisme d'attention. Cliquez sur un mot en surbrillance et voyez à quels mots le modèle prête attention pour en comprendre le sens. Exemples en anglais - c'est plus clair avec le pronom « it ».
👆 Cliquez sur le mot « ça » et vous verrez à quoi il fait référence
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 C'est ça "l'attention"
Le mécanisme d’attention est le cœur du transformateur (le T en GPT). Pour chaque mot, le modèle décide quels autres mots « regarder » pour en comprendre le sens. C’est ainsi que l’IA comprend que « ça » est un « trophée » et non une « valise ». Des milliers de connexions de ce type en même temps - et vous comprenez la langue.