LearnAI
模块 10 · 人工智能应用安全(专业版) · 1/5
← 前往目录
任务

输入和输出不可信

如何处理输入和输出?返回 JSON {"rules": [2+ 规则列表], "why": "brief"}。

解锁提交解决方案以供即时 AI 审核的权限。免费开始
AI应用安全基地
💡 一个理论

关键思维转变:用户输入和模型输出都是不可信的数据。用户可能会尝试破坏您的提示;该模型可能会返回不正确的、有害的或替换的内容。规则:不要将模型输出直接粘贴到 HTML、SQL 或命令中而不进行转义(XSS 和注入的风险);使用前验证响应的结构和内容;限制模型通常可以返回的内容(格式、长度);将她的文本视为来自局外人的输入,而不是来自您自己的代码。规则:信任模型的输出就像信任随机用户的文本一样 - 也就是说,不信任,但检查。

如何评估·通过 70

  • 1周围没有文本的有效 JSON30%
  • 2有一个数组rules和why35%
  • 32+规则:不插入原始输出、验证、限制格式、考虑不可信35%
您的提示Claude ⌄