LearnAI
मॉड्यूल 10 · एआई एप्लीकेशन सुरक्षा (प्रो) · पाठ 1/5
← कैटलॉग के लिए
काम

इनपुट और आउटपुट अविश्वसनीय हैं

इनपुट और आउटपुट को कैसे संभालें? रिटर्न JSON {"rules": [2+ नियमों की सूची], "why": "संक्षिप्त"}।

त्वरित एआई समीक्षा के लिए समाधान सबमिट करने के लिए एक्सेस अनलॉक करें।निःशुल्क प्रारंभ करें
एआई एप्लीकेशन सुरक्षा आधार
💡सिद्धांत का एक टुकड़ा

मुख्य मानसिकता बदलाव: उपयोगकर्ता इनपुट और मॉडल आउटपुट दोनों अविश्वसनीय डेटा हैं। उपयोगकर्ता आपके प्रॉम्प्ट को तोड़ने का प्रयास कर सकता है; मॉडल गलत, हानिकारक या प्रतिस्थापित सामग्री लौटा सकता है। नियम: मॉडल आउटपुट को बिना भागे सीधे HTML, SQL या कमांड में पेस्ट न करें (XSS और इंजेक्शन का जोखिम); उपयोग से पहले प्रतिक्रिया की संरचना और सामग्री को सत्यापित करें; यह सीमित करें कि मॉडल आम तौर पर क्या लौटा सकता है (प्रारूप, लंबाई); उसके टेक्स्ट को किसी बाहरी व्यक्ति के इनपुट के रूप में मानें, न कि स्वयं के कोड के रूप में। नियम: मॉडल के आउटपुट पर उतना ही भरोसा करें जितना आप किसी यादृच्छिक उपयोगकर्ता के टेक्स्ट पर भरोसा करते हैं - यानी भरोसा न करें, बल्कि जांचें।

इसका मूल्यांकन कैसे किया जाता है · उत्तीर्ण होना 70

  • 1इसके चारों ओर पाठ के बिना मान्य JSON30%
  • 2एक सरणी है rules और why35%
  • 32+ नियम: कच्चा आउटपुट न डालें, मान्य करें, प्रारूप सीमित करें, अविश्वसनीय मानें35%
आपका संकेतClaude ⌄