👁️ Tempat AI melihat: mekanisme perhatian
Untuk memahami sebuah frasa, AI “melihat” kata-kata terkait - ini adalah mekanisme perhatian. Klik pada kata yang disorot dan lihat kata mana yang diperhatikan model untuk mendapatkan maknanya. Contoh dalam bahasa inggris - lebih jelas dengan kata ganti “it”.
👆 Klik pada kata "itu" dan Anda akan melihat apa maksudnya
Thetrophydidn'tfitinthesuitcasebecausewastoobig.
💡 Itulah yang dimaksud dengan "perhatian".
Mekanisme perhatian adalah jantung dari transformator (T di GPT). Untuk setiap kata, model memutuskan kata lain mana yang harus “dilihat” untuk memahami artinya. Beginilah cara AI memahami bahwa “itu” adalah “piala” dan bukan “koper”. Ribuan koneksi seperti itu pada saat yang sama - dan Anda akan memahami bahasanya.