LearnAI
Módulo 7 · Índice de qualidade de IA (Pro) · Lição 1/5
← Para o catálogo
Tarefa

Conjunto de teste (conjunto de avaliação)

Como montar um kit de avaliação e por quê? Retorne JSON {"steps": [lista de mais de 2 etapas], "why": "short"}.

Desbloqueie o acesso para enviar soluções para análise instantânea de IA.Comece de graça
Base de qualidade de IA
💡 Uma teoria

Eval set é um conjunto de exemplos representativos com o resultado esperado, no qual você executa o sistema antes de cada alteração. Sem ele, melhorar o prompt é uma leitura da sorte: consertou um caso, quebrou silenciosamente cinco. Como coletar: obtenha informações reais (ou quase reais) que cubram casos típicos e extremos; registre a resposta correta ou aceitável para eles; execute todo o conjunto antes e depois de cada edição e compare a taxa de conclusão. Mesmo 20-50 bons exemplos mudam radicalmente o desenvolvimento – as regressões são visíveis. Regra: sem um conjunto de avaliação você não melhora o sistema, apenas move os erros de um lugar para outro.

Como é avaliado · aprovado 70

  • 1JSON válido sem texto ao redor30%
  • 2Existe uma matriz steps e why35%
  • 3Mais de 2 etapas: coletar exemplos, registrar a resposta, executar antes/depois35%
Sua solicitaçãoClaude ⌄