LearnAI
Модуль 7 · Оцінка якості AI (Pro) · Урок 1/5
← До каталогу
Завдання

Тестовий набір (eval set)

Як зібрати eval-набір та навіщо? Поверни JSON {"steps": [список з 2+ кроків], "why": "коротко"}.

Відкрий доступ, щоб надсилати рішення на миттєву AI-перевірку.Почати безкоштовно
Фундамент якості AI
💡 Шматок теорії

Eval set - набір представницьких прикладів з очікуваним результатом, на якому ти проганяєш систему перед кожною зміною. Без нього покращення промпту — ворожіння: полагодив один випадок, тихо зламав п'ять. Як зібрати: візьми реальні (або близькі до реальних) входи, що покривають типові та крайові випадки; зафіксуй для них правильну або прийнятну відповідь; проганяй весь набір до і після кожної редагування і порівнюй частку проходження. Навіть 20-50 хороших прикладів радикально змінюють розробку – видно регресії. Правило: без набору для оцінки ти не покращуєш систему, лише рухаєш помилки з місця на місце.

Як оцінюється · прохідний 70

  • 1Валідний JSON без тексту навколо30%
  • 2Є масив steps та why35%
  • 32+ кроки: зібрати приклади, зафіксувати відповідь, проганяти до/після35%
Твій промптClaude ⌄