LearnAI
Модуль 10 · Безопасность AI-приложений (Pro) · Урок 3/5
Задача

Проверяй вывод до действия

Как обезопасить действия по выводу модели? Верни JSON {"safeguards": [список из 2+ предохранителей], "why": "кратко"}.

AI не жмёт на кнопки вслепую
💡 Кусочек теории

Опасно, когда вывод модели напрямую запускает действие (удаление, платёж, исполнение кода, рассылка) без проверки. Модель может ошибиться или быть подставлена. Предохранители: валидируй и ограничивай сгенерированную команду (белый список операций, запрет разрушительных); подтверждение человеком для необратимых действий (human-in-the-loop); песочница и минимальные права на исполнение; лимиты (сколько и чего можно сделать за раз). Автономность удобна, но необратимое действие без проверки — катастрофа, ждущая случая. Правило: между выводом модели и реальным действием всегда стоит проверка; необратимое — только через подтверждение.

Как оценивается · проходной 70

  • 1Валидный JSON без текста вокруг30%
  • 2Есть массив safeguards и why35%
  • 32+ предохранителя: валидация/белый список, подтверждение человеком, песочница, лимиты35%
Твой промптClaude ⌄
🔒

Открой доступ, чтобы отправлять решения на мгновенную AI-проверку.

Открыть полный доступ · $49