Jak złożyć zestaw eval i dlaczego? Zwróć JSON {"steps": [lista ponad 2 kroków], "why": "krótki"}.
Zestaw ewaluacyjny to zbiór reprezentatywnych przykładów z oczekiwanym rezultatem, na którym uruchamiasz system przed każdą zmianą. Bez tego ulepszenie podpowiedzi jest wróżbą: naprawiono jeden przypadek, spokojnie zepsuto pięć. Jak zbierać: zbieraj rzeczywiste (lub zbliżone do rzeczywistych) dane wejściowe, które obejmują przypadki typowe i skrajne; zapisz dla nich poprawną lub akceptowalną odpowiedź; uruchom cały zestaw przed i po każdej edycji i porównaj wskaźnik ukończenia. Nawet 20-50 dobrych przykładów radykalnie zmienia rozwój – widoczne są regresje. Zasada: bez zestawu do oceny nie ulepszasz systemu, a jedynie przenosisz błędy z miejsca na miejsce.