LearnAI
Новинки AI · AI-агенты · Lección 7/10
← Al catálogo
Tarea

¿En qué se equivoca el agente?

Evalúe el riesgo de la tarea y cree protección contra errores de los agentes. Devuelve JSON {"task":"...","riskLevel":"...","riskyPoint":"...","safeguard":"..."}: task - tarea, riskLevel - uno de: bajo, medio, alto, riskyPoint - el lugar más peligroso (donde es probable una invención o acción irreversible), safeguard - cómo se verifica.

Desbloquee el acceso para enviar soluciones para una revisión instantánea de la IA.
Detectar errores del agente
💡 Un pedazo de teoría

Los agentes tienen debilidades predecibles y conocerlas es la mitad de la batalla. Primero: un tono seguro al tomar una decisión. Si no hay suficientes datos, el agente dará una respuesta sencilla, sólo inventada. Segundo: bucle: puede caminar en círculos y repetir un paso si el objetivo está borroso. Tercero: una suposición errónea al principio, que hace que todo el trabajo vaya en la dirección equivocada. La mecánica de defensa se basa en el control. Truco interno: solicite un enlace a la fuente para cada afirmación importante y una nota directa de incertidumbre: "si no está seguro, escríbalo". Es más fácil captar una ficción cuando hay un enlace cerca. La segunda técnica es un presupuesto de pasos y un paso de verificación separado: "hazlo y luego vuelve a verificar el resultado según este criterio". Limitar los pasos evita que entres en un bucle sin fin. Un error común es confiar en una respuesta debido a su apariencia segura y sus detalles convincentes. La persuasión y la verdad son dos cosas diferentes. Evalúa previamente el riesgo de la tarea: cuanto mayor sea, más estricta será la verificación y menos autonomía deberás darle al agente.

¿Cómo se evalúa · aprobado? 70

  • 1JSON válido sin texto alrededor15%
  • 2Los campos obligatorios están ahí.20%
  • 3riskLevel es uno de los valores válidos15%
  • 4El lugar peligroso ha sido nombrado, la defensa es real.50%
Tu mensajeClaude ⌄
🔒

Desbloquee el acceso para enviar soluciones para una revisión instantánea de la IA.