Стоит ли тасовать данные для обучения нейросети во время обучения?

Question

[CeBePHblY]

Где то мельком читал, что для более быстрой сходимости, желательно тасовать входные данные для нейросети в процессе обучения. Где можно почитать об этом? Стоит ли игра свеч?
Второй вопрос, если это выгодно для поставленных задач, то как правильно это сделать?

Так?

Было так:
[0, 0, 1, 1]
[0, 1, 0, 1]
[1, 1, 0, 0]
Тасуем, стало так:
[0, 1, 0, 1]
[1, 1, 0, 0]
[0, 0, 1, 1]
Т.е. перетасовали случаи

Или так?

Было так:
[0, 0, 1, 1]
[0, 1, 0, 1]
[1, 1, 0, 0]
Тасуем, стало так:
[0, 1, 1, 0]
[1, 0, 1, 0]
[1, 0, 0, 1]
Т.е. перетасовали значения в каждом случае

Answer 1

[Александр Варакосов]

Смысл в том, что для каждого этапа вы делаете случайную выборку из исходного датасета. Это позволяет ускорить процесс и избежать переобучения. Почитайте "Глубокое обучение. Погружение в мир нейронных сетей".

Comments

[CeBePHblY]

спасибо