👁️ AI が注目している場所: 注意のメカニズム
フレーズを理解するために、AI は関連する単語を「調べます」。これが注意のメカニズムです。ハイライト表示された単語をクリックすると、モデルが意味を理解するためにどの単語に注目しているかを確認できます。英語の例 – 代名詞「it」を使うとより明確になります。
👆 「it」という単語をクリックすると、それが何を指すのかが表示されます
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 それが「注目」です
アテンション メカニズムはトランスフォーマー (GPT の T) の心臓部です。モデルは単語ごとに、意味を理解するために他のどの単語を「調べる」かを決定します。これにより、AIは「それ」が「スーツケース」ではなく「トロフィー」であることを理解します。同時に何千ものそのような接続が行われ、言語を理解できるようになります。