Bagaimana cara merakit eval kit dan mengapa? Kembalikan JSON {"steps": [daftar 2+ langkah], "why": "short"}.
Himpunan evaluasi adalah sekumpulan contoh representatif dengan hasil yang diharapkan, di mana Anda menjalankan sistem sebelum setiap perubahan. Tanpanya, meningkatkan prompt adalah sebuah ramalan: memperbaiki satu kasus, diam-diam memecahkan lima kasus. Cara mengumpulkan: mengambil masukan nyata (atau mendekati nyata) yang mencakup kasus tipikal dan kasus tepi; mencatat jawaban yang benar atau dapat diterima bagi mereka; jalankan seluruh rangkaian sebelum dan sesudah setiap pengeditan dan bandingkan tingkat penyelesaiannya. Bahkan 20-50 contoh bagus secara radikal mengubah perkembangan - kemunduran terlihat jelas. Aturannya: tanpa seperangkat evaluasi, Anda tidak memperbaiki sistem, tetapi hanya memindahkan kesalahan dari satu tempat ke tempat lain.