👁️ Gdzie patrzy AI: mechanizm uwagi
Aby zrozumieć frazę, sztuczna inteligencja „patrzy” na powiązane słowa – jest to mechanizm uwagi. Kliknij na wyróżnione słowo i zobacz, na które słowa model zwraca uwagę, aby poznać jego znaczenie. Przykłady w języku angielskim - jest to bardziej jasne z zaimkiem „it”.
👆 Kliknij słowo „to”, a zobaczysz, do czego się odnosi
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Na tym właśnie polega „uwaga”.
Mechanizm uwagi jest sercem transformatora (oznaczona literą T w GPT). Dla każdego słowa model decyduje, na które inne słowa „patrzyć”, aby zrozumieć znaczenie. Tak AI rozumie, że „to” jest „trofeum”, a nie „walizką”. Tysiące takich połączeń jednocześnie - i zaczynasz rozumieć język.