Hoe monteer je een evaluatiekit en waarom? Retourneer JSON {"steps": [lijst met meer dan 2 stappen], "why": "short"}.
Eval-set is een set representatieve voorbeelden met het verwachte resultaat, waarop u het systeem vóór elke wijziging laat draaien. Zonder dit is het verbeteren van de prompt een waarzeggerij: één zaak opgelost, vijf stilletjes opgelost. Hoe verzamelen: neem echte (of bijna echte) input die typische en randgevallen bestrijkt; noteer het juiste of acceptabele antwoord voor hen; voer de volledige set uit voor en na elke bewerking en vergelijk het voltooiingspercentage. Zelfs twintig tot vijftig goede voorbeelden veranderen de ontwikkeling radicaal – achteruitgang is zichtbaar. Regel: zonder een set voor evaluatie verbeter je het systeem niet, maar verplaats je alleen fouten van de ene plaats naar de andere.