LearnAI
Módulo 7 · Puntuación de calidad de IA (Pro) · Lección 1/5
← Al catálogo
Tarea

Conjunto de prueba (conjunto de evaluación)

¿Cómo montar un kit de evaluación y por qué? Devuelve JSON {"steps": [lista de más de 2 pasos], "why": "corto"}.

Desbloquee el acceso para enviar soluciones para una revisión instantánea de la IA.Empieza gratis
Base de calidad de la IA
💡 Un pedazo de teoría

El conjunto de evaluación es un conjunto de ejemplos representativos con el resultado esperado, en el que ejecuta el sistema antes de cada cambio. Sin él, mejorar la sugerencia es una adivinación: se arregló un caso, se rompieron silenciosamente cinco. Cómo recopilar: tome entradas reales (o casi reales) que cubran casos típicos y extremos; registrar la respuesta correcta o aceptable para ellos; ejecute todo el conjunto antes y después de cada edición y compare la tasa de finalización. Incluso entre 20 y 50 buenos ejemplos cambian radicalmente el desarrollo: las regresiones son visibles. Regla: sin un conjunto de evaluación, no se mejora el sistema, solo se mueven los errores de un lugar a otro.

¿Cómo se evalúa · aprobado? 70

  • 1JSON válido sin texto alrededor30%
  • 2Hay una matriz steps y why35%
  • 3Más de 2 pasos: recopilar ejemplos, registrar la respuesta, ejecutar antes/después35%
Tu mensajeClaude ⌄