👁️ Куда смотрит AI: механизм внимания
Чтобы понять фразу, AI «смотрит» на связанные слова — это механизм внимания (attention). Нажми на выделенное слово и увидь, на какие слова модель обращает внимание, чтобы уловить смысл. Примеры на английском — так нагляднее с местоимением «it».
👆 Нажми на слово «it» — увидишь, к чему оно относится
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Вот что такое «внимание»
Механизм внимания — сердце трансформера (буква T в GPT). Для каждого слова модель решает, на какие другие слова «посмотреть», чтобы понять смысл. Именно так AI разбирается, что «it» — это «trophy», а не «suitcase». Тысячи таких связей одновременно — и получается понимание языка.