Мне использовать те же параметры нормализации, что были на обучающем или нормализовать данные с нуля?

Question

[Jut_Rut]

Для нормализации использую это:

mean = data_for_l.mean(axis=0)
std = data_for_l.std(axis=0)

data_for_l -= mean
data_for_l /= std

Здесь я вычитаю среднее и делю на отклонение, прочитал об этом методе в книге. Не знаю, сохранять мне mean и std и использовать их для нормализации всегда или их лучше считать заново для данных, которые я хочу предсказать. Нейронная сеть простая полносвязная в 1 слой.

Answer 1

[Максим Припадчев]

Хороший вопрос. Есть правило никогда не использовать метод fit на тестовом сете. Иными словами будьто нормализация, скалинг, стандартизация или другие трансформации, ты никогда не находишь никакие параметры в тестовом наборе - это грубая ошибка. А всегда используешь только тренировочный набор. По этому все свои mean, std и прочее ты берешь только из тренировочного набора.

В scikit-learn есть трансформаторы, к примеру StandardScaler так вот у него есть методы fit, transform и fit_transform. Так вот для тестового дата сета ты используешь только transform и никогда fit или fit_transform. Что означает применить трансформацию к тестовому сету с параметрами посчитанными на тренировочном сете.

С нейронными сетями абсолютно тоже самое без каких либо исключений.

Comments

[Jut_Rut]

Большое спасибо, я использую Keras, не знаю есть ли там что-то похожее, просто сохраню и буду нормализовать так же, как на обучающем наборе.

[Максим Припадчев]

Jut_Rut, На самом деле ничего тебе не мешает для препроцессинга использовать scikit-learn. Но и никто не запрещает просто сделать функцию, normalize. Где параметры будут из тренировочного сета. Как удобно. Главное не считать ничего на тестовом/ валидационном наборе. Это называется. data leakage.

[Jut_Rut]

Хорошо. Я ещё о кое-чём хотел спросить. Когда я нашёл оптимальные значения, при которых нейросеть перестаёт прогрессировать и наступает переобучение, я взял те данные, которые использовались для проверки её точности и запустил новое обучение уже с этими данными (не проверял точность, только обучил). Я правильно поступил или нет?

[Максим Припадчев]

Jut_Rut, Нет не правильно. У тебя есть тренировочный набор и тестовый набор. Тренировка это получение "знаний твоей модели".

Есть конечно кросс валидация. Но у ней не много другие цели подбор гипер параметров и не только.
У ней есть параметр kfold (количество разбиений), например 5. Разбивают данные на 5 частей. Сначала 4/5 используют как тренировочный сет 1/5 как валидационный набор, потом другие 4/5 как тренировочный набор и другую 1/5 как тестовый и т.д. Вот картинка https://scikit-learn.org/stable/modules/cross_vali..., это без разницы какая библиотека, с нейронными сетями так же делают.

Но в прод идет модель которую ты тренировал на тренировочном датасете а тестировал на тестовом. И никогда ты не тренируешь на данных из тестового сета. Модель ничего о нем знать не должна.

[Jut_Rut]

Я понимаю, я о том, что я не тестировал модель в общем. у меня, условно, на самом деле данных куда больше, была 100 записей. 70 я отдал на обучение, 15 на валидацию и 15 на тест в конце. После того, как я достиг переобучения (понял по графику валидации), я запустил обучение заново, но теперь только с 85 обучающими и 15 тестовыми с теми же параметрами, валидации нет вообще. Почему так делать - это плохая идея?

[Максим Припадчев]

Jut_Rut, Так делать можно, если у тебя остается тестовый сет, который ты не трогал, то все ок.

[Jut_Rut]

Максим Припадчев, отлично, спасибо большое!