👁️ AI đang tìm kiếm ở đâu: cơ chế chú ý

Để hiểu một cụm từ, AI “nhìn” vào các từ liên quan - đây là một cơ chế chú ý. Nhấp vào một từ được đánh dấu và xem những từ nào mà mô hình chú ý để hiểu nghĩa. Ví dụ bằng tiếng Anh - nó rõ ràng hơn với đại từ “it”.

👆 Bấm vào từ “it” và bạn sẽ thấy nó đề cập đến điều gì

Thetrophydidn'tfitinthesuitcasebecausewastoobig.

💡 Đó chính là "sự chú ý"

Cơ chế chú ý là trái tim của máy biến áp (chữ T trong GPT). Đối với mỗi từ, mô hình sẽ quyết định những từ nào khác sẽ “nhìn” để hiểu nghĩa. Đây là cách AI hiểu rằng “nó” là một “chiến lợi phẩm” chứ không phải một “chiếc vali”. Hàng nghìn kết nối như vậy cùng lúc - và bạn sẽ hiểu được ngôn ngữ.