Comment assembler un kit d’évaluation et pourquoi ? Renvoyez JSON {"steps": [liste de plus de 2 étapes], "why": "short"}.
L'ensemble d'évaluation est un ensemble d'exemples représentatifs avec le résultat attendu, sur lesquels vous exécutez le système avant chaque modification. Sans cela, améliorer l'invite est une divination : un cas corrigé, cinq cassés en silence. Comment collecter : prendre des données réelles (ou proches de la réalité) qui couvrent les cas typiques et extrêmes ; enregistrer la réponse correcte ou acceptable pour eux ; exécutez l’ensemble complet avant et après chaque modification et comparez le taux d’achèvement. Même 20 à 50 bons exemples changent radicalement l’évolution – des régressions sont visibles. Règle : sans un ensemble d'évaluation, vous n'améliorez pas le système, mais déplacez seulement les erreurs d'un endroit à l'autre.