В Матлабе подход такой: при обучении на тренировочных данных кривая ошибок идёт вниз. Кривая ошибок валидационных данных обычно немного выше, но тоже идёт вниз. Потом начинает идти вверх, хотя ошибки на тренировочных данных продолжают уменьшаться. Вот это означает переобучение. Поэтому берут параметры сети, при которых был минимум ошибок валидации.
При этих параметрах смотрят результат на тесте.
