Come assemblare un kit di valutazione e perché? Restituisce JSON {"steps": [elenco di 2+ passaggi], "why": "breve"}.
Il set di valutazione è un insieme di esempi rappresentativi con il risultato atteso, su cui viene eseguito il sistema prima di ogni modifica. Senza di esso, migliorare il prompt è una predizione del futuro: risolto un caso, ne ho rotti tranquillamente cinque. Come raccogliere: prendere input reali (o quasi reali) che coprano casi tipici e casi limite; registrare la risposta corretta o accettabile per loro; esegui l'intero set prima e dopo ogni modifica e confronta il tasso di completamento. Anche 20-50 buoni esempi cambiano radicalmente lo sviluppo: le regressioni sono visibili. Regola: senza un set di valutazione non si migliora il sistema, ma si spostano solo gli errori da un posto all'altro.