LearnAI
Módulo 10 · Seguridad de aplicaciones de IA (Pro) · Lección 1/5
← Al catálogo
Tarea

La entrada y la salida no son de confianza

¿Cómo manejar la entrada y la salida? Devuelve JSON {"rules": [lista de más de 2 reglas], "why": "breve"}.

Desbloquee el acceso para enviar soluciones para una revisión instantánea de la IA.Empieza gratis
Base de seguridad de aplicaciones de IA
💡 Un pedazo de teoría

Cambio de mentalidad clave: tanto la entrada del usuario como la salida del modelo son datos que no son confiables. El usuario puede intentar romper su mensaje; El modelo puede devolver contenido incorrecto, dañino o sustituido. Reglas: no pegue la salida del modelo directamente en HTML, SQL o comandos sin escapar (riesgo de XSS e inyecciones); validar la estructura y el contenido de la respuesta antes de su uso; limitar lo que el modelo generalmente puede devolver (formato, longitud); Trate su texto como una entrada de un extraño y no como un código suyo. Regla: confíe en la salida del modelo exactamente tanto como confiaría en el texto de un usuario aleatorio; es decir, no confíe, pero verifique.

¿Cómo se evalúa · aprobado? 70

  • 1JSON válido sin texto alrededor30%
  • 2Hay una matriz rules y why35%
  • 3Más de 2 reglas: no insertar salida sin formato, validar, limitar el formato, considerar no confiable35%
Tu mensajeClaude ⌄