Оценка дообученной модели

Дообучение легко делает хуже незаметно, поэтому его обязательно измеряют. Проверки: сравнить дообученную модель с базовой на отложенном тестовом наборе (eval set), которого НЕ было в обучении — иначе меришь заучивание; смотреть не только целевую метрику, но и регрессии (не сломались ли другие случаи); проверить переобучение (отлично на обучающих примерах, плохо на новых); учесть стоимость и скорость. Без сравнения с базой ты не знаешь, помогло ли дообучение вообще. Правило: оценивай дообученную модель на данных, которых она не видела, против базовой — «кажется лучше» не считается.