LearnAI
Модуль 7 · Оценка качества AI (Pro) · Урок 4/5
Задача

Регрессии: не ломать починенное

Как не ломать уже работающее? Верни JSON {"practice": "что делать", "why": "кратко"}.

Правки AI нелокальны
💡 Кусочек теории

AI-система нелокальна: правка промпта ради одного случая незаметно меняет поведение на других. Регрессия — когда раньше работавшее сломалось. Защита из инженерии: каждый пойманный плохой случай превращай в постоянный тест и добавляй в eval set навсегда; прогоняй ВЕСЬ набор на каждое изменение; не выкатывай, если общая доля прохождения упала, даже когда целевой случай починен. Так набор только растёт и держит уже достигнутое качество. Правило: почини и добавь в тесты, иначе та же ошибка вернётся, а ты узнаешь о ней от пользователей.

Как оценивается · проходной 70

  • 1Валидный JSON без текста вокруг30%
  • 2Есть поля practice и why35%
  • 3Пойманный случай → постоянный тест; прогон всего набора; не выкатывать при падении pass-rate35%
Твой промптClaude ⌄
🔒

Открой доступ, чтобы отправлять решения на мгновенную AI-проверку.

Открыть полный доступ · $49