Wie stellt man ein Evaluierungskit zusammen und warum? Geben Sie JSON zurück {"steps": [Liste von 2+ Schritten], "why": "short"}.
Bei einem Eval-Set handelt es sich um eine Reihe repräsentativer Beispiele mit dem erwarteten Ergebnis, mit denen Sie das System vor jeder Änderung ausführen. Ohne sie ist die Verbesserung der Eingabeaufforderung eine Wahrsagerei: Einen Fall repariert, fünf stillschweigend kaputt gemacht. So sammeln Sie: Nehmen Sie reale (oder nahezu reale) Eingaben, die typische Fälle und Randfälle abdecken. Notieren Sie die richtige oder akzeptable Antwort für sie. Führen Sie den gesamten Satz vor und nach jeder Bearbeitung aus und vergleichen Sie die Abschlussrate. Schon 20-50 gute Beispiele verändern die Entwicklung radikal – Rückschritte sind sichtbar. Regel: Ohne Bewertungssatz verbessert man das System nicht, sondern verschiebt nur Fehler von Ort zu Ort.