LearnAI
Модуль 10 · Безопасность AI-приложений (Pro) · Урок 1/5
Задача

Ввод и вывод — недоверенные

Как обращаться с вводом и выводом? Верни JSON {"rules": [список из 2+ правил], "why": "кратко"}.

База безопасности AI-приложения
💡 Кусочек теории

Ключевой сдвиг мышления: и пользовательский ввод, И вывод модели — недоверенные данные. Пользователь может попытаться сломать твой промпт; модель может вернуть некорректное, вредное или подставленное содержимое. Правила: не вставляй вывод модели напрямую в HTML, SQL или команды без экранирования (риск XSS и инъекций); валидируй структуру и содержимое ответа перед использованием; ограничивай, что модель вообще может вернуть (формат, длина); относись к её тексту как к вводу от постороннего, а не как к коду от себя. Правило: доверяй выводу модели ровно настолько, насколько доверял бы тексту от случайного пользователя — то есть не доверяй, а проверяй.

Как оценивается · проходной 70

  • 1Валидный JSON без текста вокруг30%
  • 2Есть массив rules и why35%
  • 32+ правила: не вставлять вывод сырым, валидировать, ограничивать формат, считать недоверенным35%
Твой промптClaude ⌄
Ответ модели
Здесь появится ответ модели…