LearnAI
मॉड्यूल 7 · एआई गुणवत्ता स्कोर (प्रो) · पाठ 1/5
← कैटलॉग के लिए
काम

परीक्षण सेट (eval सेट)

इवल किट कैसे असेंबल करें और क्यों? JSON लौटाएं {"steps": [2+ चरणों की सूची], "why": "छोटा"}।

त्वरित एआई समीक्षा के लिए समाधान सबमिट करने के लिए एक्सेस अनलॉक करें।निःशुल्क प्रारंभ करें
एआई गुणवत्ता आधार
💡सिद्धांत का एक टुकड़ा

इवल सेट अपेक्षित परिणाम के साथ प्रतिनिधि उदाहरणों का एक सेट है, जिस पर आप प्रत्येक परिवर्तन से पहले सिस्टम चलाते हैं। इसके बिना, संकेत में सुधार करना भाग्य बताने जैसा है: एक मामले को ठीक किया, चुपचाप पांच को तोड़ दिया। कैसे एकत्र करें: वास्तविक (या वास्तविक के करीब) इनपुट लें जो विशिष्ट और किनारे के मामलों को कवर करते हैं; उनके लिए सही या स्वीकार्य उत्तर रिकॉर्ड करें; प्रत्येक संपादन से पहले और बाद में पूरा सेट चलाएँ और पूर्णता दर की तुलना करें। यहां तक ​​कि 20-50 अच्छे उदाहरण भी विकास को मौलिक रूप से बदल देते हैं - प्रतिगमन दिखाई देता है। नियम: मूल्यांकन के लिए एक सेट के बिना, आप सिस्टम में सुधार नहीं करते हैं, बल्कि केवल त्रुटियों को एक स्थान से दूसरे स्थान पर ले जाते हैं।

इसका मूल्यांकन कैसे किया जाता है · उत्तीर्ण होना 70

  • 1इसके चारों ओर पाठ के बिना मान्य JSON30%
  • 2एक सरणी है steps और why35%
  • 32+ चरण: उदाहरण एकत्र करें, उत्तर रिकॉर्ड करें, पहले/बाद में चलाएं35%
आपका संकेतClaude ⌄