👁️ Куди дивиться AI: механізм уваги
Щоб зрозуміти фразу, AI «дивиться» пов'язані слова — це механізм уваги (attention). Натисніть на виділене слово і побач, на які слова модель звертає увагу, щоб уловити сенс. Приклади англійською - так наочніше з займенником "it".
👆 Натисніть на слово "it" - побачиш, до чого воно відноситься
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Ось що таке «увага»
Механізм уваги - серце трансформера (літера T в GPT). Для кожного слова модель вирішує, на які інші слова подивитись, щоб зрозуміти зміст. Саме так AI розуміється, що "it" - це "trophy", а не "suitcase". Тисячі таких зв'язків одночасно і виходить розуміння мови.