LearnAI
Модуль 7 · Оценка качества AI (Pro) · Урок 1/5
Задача

Тестовый набор (eval set)

Как собрать eval-набор и зачем? Верни JSON {"steps": [список из 2+ шагов], "why": "кратко"}.

Фундамент качества AI
💡 Кусочек теории

Eval set — набор представительных примеров с ожидаемым результатом, на котором ты прогоняешь систему перед каждым изменением. Без него улучшение промпта — гадание: починил один случай, тихо сломал пять. Как собрать: возьми реальные (или близкие к реальным) входы, покрывающие типовые и краевые случаи; зафиксируй для них правильный или приемлемый ответ; прогоняй весь набор до и после каждой правки и сравнивай долю прохождения. Даже 20-50 хороших примеров радикально меняют разработку — видно регрессии. Правило: без набора для оценки ты не улучшаешь систему, а лишь двигаешь ошибки с места на место.

Как оценивается · проходной 70

  • 1Валидный JSON без текста вокруг30%
  • 2Есть массив steps и why35%
  • 32+ шага: собрать примеры, зафиксировать ответ, прогонять до/после35%
Твой промптClaude ⌄
Ответ модели
Здесь появится ответ модели…