Если посмотреть, как работает глубокая нейронная сеть без функций активаций у нас получается следующее:
y = W"W'Wx (W"-веса третьего слоя, W'-веса второго слоя...)
Так как у нас нет нелинейности, то каждый слой - это простое линейное преобразование, а из лин. алгебры мы знаем AB=C, значит W"W'W мы можем заменить на одну матрицу W*. То есть добавление нового слоя без функции активации нам ничего не дает.
notxleb, по-моему, как раз Вы всё из головы берёте.
Такое понятие, как устойчивость состояния сети при нестабильных или значительно "зашумлённых" сигналах, подаваемых на вход нс, приходилось слышать?))
Как раз то, о чём спрашивает автор, за это и отвечают.
xmoonlight, стабильность нейронной сети вообще о другом, да это связано с выбором линейной функции на выходе, но вытекает от выбора функции ошибки, а не вопрос об отсутствии нелинейности или наличия. С ухудшением предсказания при зашумленных входах борются другими методами. Вы всего намешали. Сразу видно, что с нейронами практического опыта вы не имели и учили нейронные сети по статьям на хабре.
Сложный
