LearnAI
الوحدة 10 · أمان تطبيقات الذكاء الاصطناعي (الإصدار الاحترافي) · درس 1/5
← إلى الكتالوج
مهمة

المدخلات والمخرجات غير موثوق بها

كيفية التعامل مع المدخلات والمخرجات؟ إرجاع JSON {"rules": [قائمة تضم أكثر من قاعدتين]، "why": "موجز"}.

فتح إمكانية الوصول لإرسال الحلول لمراجعة الذكاء الاصطناعي الفورية.ابدأ مجانًا
قاعدة أمان تطبيقات الذكاء الاصطناعي
💡قطعة نظرية

التحول الرئيسي في العقلية: يعد كل من مدخلات المستخدم ومخرجات النموذج بيانات غير موثوقة. قد يحاول المستخدم كسر المطالبة الخاصة بك؛ قد يعرض النموذج محتوى غير صحيح أو ضار أو بديل. القواعد: لا تلصق مخرجات النموذج مباشرةً في HTML أو SQL أو الأوامر دون الهروب (خطر XSS والحقن)؛ التحقق من صحة بنية ومحتوى الاستجابة قبل الاستخدام؛ تحديد ما يمكن أن يعرضه النموذج بشكل عام (التنسيق والطول)؛ تعامل مع النص الخاص بها على أنه مدخلات من شخص خارجي، وليس كرمز من نفسك. القاعدة: ثق في مخرجات النموذج تمامًا كما تثق في النص الوارد من مستخدم عشوائي - أي لا تثق، بل تحقق.

كيف يتم تقييمه · النجاح 70

  • 1JSON صالح بدون نص حوله30%
  • 2هناك مصفوفة rules و why35%
  • 3أكثر من قاعدتين: لا تقم بإدراج مخرجات أولية، أو التحقق من صحة، أو تقييد التنسيق، أو اعتباره غير موثوق به35%
موجه الخاص بكClaude ⌄