LearnAI
Mô-đun 10 · Bảo mật ứng dụng AI (Pro) · Bài học 1/5
← Vào danh mục
Nhiệm vụ

Đầu vào và đầu ra không đáng tin cậy

Xử lý đầu vào và đầu ra như thế nào? Trả về JSON {"rules": [danh sách hơn 2 quy tắc], "why": "tóm tắt"}.

Mở khóa quyền truy cập để gửi giải pháp nhằm đánh giá AI ngay lập tức.Bắt đầu miễn phí
Cơ sở bảo mật ứng dụng AI
💡 Một phần lý thuyết

Sự thay đổi tư duy quan trọng: Cả đầu vào VÀ đầu ra của mô hình của người dùng đều là dữ liệu không đáng tin cậy. Người dùng có thể cố gắng phá vỡ lời nhắc của bạn; Mô hình có thể trả về nội dung không chính xác, có hại hoặc bị thay thế. Quy tắc: Không dán trực tiếp đầu ra của mô hình vào HTML, SQL hoặc các lệnh mà không thoát (nguy cơ XSS và tiêm nhiễm); xác thực cấu trúc và nội dung phản hồi trước khi sử dụng; giới hạn những gì mô hình thường có thể trả về (định dạng, độ dài); coi văn bản của cô ấy là đầu vào từ người ngoài chứ không phải là mã từ chính bạn. Quy tắc: tin cậy chính xác đầu ra của mô hình giống như bạn tin tưởng văn bản từ một người dùng ngẫu nhiên - nghĩa là không tin cậy mà hãy kiểm tra.

Nó được đánh giá như thế nào · đạt 70

  • 1JSON hợp lệ không có văn bản xung quanh nó30%
  • 2Có một mảng rules và why35%
  • 3Hơn 2 quy tắc: không chèn đầu ra thô, xác thực, giới hạn định dạng, coi là không đáng tin cậy35%
Lời nhắc của bạnClaude ⌄