LearnAI
モジュール 10 · AI アプリケーション セキュリティ (プロ) · レッスン 1/5
← カタログへ
タスク

入力と出力は信頼できません

入力と出力をどのように処理するか? JSON {"rules": [2 つ以上のルールのリスト], "why": "brief"} を返します。

アクセスのロックを解除して、AI による即時レビューのためにソリューションを送信します。無料で始める
AI アプリケーション セキュリティ ベース
💡 理論の一部

重要な考え方の変化: ユーザー入力とモデル出力の両方が信頼できないデータです。ユーザーはプロンプトを破ろうとする可能性があります。モデルは、不正確なコンテンツ、有害なコンテンツ、または置換されたコンテンツを返す可能性があります。ルール: モデル出力をエスケープせずに HTML、SQL、またはコマンドに直接貼り付けないでください (XSS およびインジェクションのリスク)。使用前に応答の構造と内容を検証します。モデルが一般に返すことができるもの (形式、長さ) を制限します。彼女のテキストを、あなた自身からのコードとしてではなく、外部からの入力として扱います。ルール: ランダムなユーザーからのテキストを信頼するのと同じくらいモデルの出力を信頼します。つまり、信頼するのではなく、確認します。

どのように評価されますか? 合格 70

  • 1周囲にテキストのない有効な JSON30%
  • 2配列 rules と why があります35%
  • 32 つ以上のルール: 生の出力を挿入しない、検証する、形式を制限する、信頼できないとみなす35%
あなたのプロンプトClaude ⌄