Для чего нужны активационные функции и нелинейность в нейронных сетях?

Question

[Назар Тропанец]

Для чего нужны активационные функции и нелинейность в нейронных сетях?

Answer 1

[notxleb]

Если посмотреть, как работает глубокая нейронная сеть без функций активаций у нас получается следующее:
y = W"W'Wx (W"-веса третьего слоя, W'-веса второго слоя...)
Так как у нас нет нелинейности, то каждый слой - это простое линейное преобразование, а из лин. алгебры мы знаем AB=C, значит W"W'W мы можем заменить на одну матрицу W*. То есть добавление нового слоя без функции активации нам ничего не дает.

Answer 2

[xmoonlight]

Для обеспечения стабильности результата при разных входных параметрах.

Comments

[notxleb]

Что за введение в заблуждение? Ты уже год тут торчишь и каждый раз в этом разделе ты несешь какую-то ересь .

[xmoonlight]

notxleb,

Так как у нас нет нелинейности, то каждый слой - это простое линейное преобразование,

вот где ересь!)))

[notxleb]

xmoonlight,

стабильности результата при разных входных параметрах.

Откуда вы вообще это достали? Нет такого понятия в машинном обучении. Вы это все из головы берете?

[xmoonlight]

notxleb, по-моему, как раз Вы всё из головы берёте.

Такое понятие, как устойчивость состояния сети при нестабильных или значительно "зашумлённых" сигналах, подаваемых на вход нс, приходилось слышать?))
Как раз то, о чём спрашивает автор, за это и отвечают.

[notxleb]

xmoonlight, стабильность нейронной сети вообще о другом, да это связано с выбором линейной функции на выходе, но вытекает от выбора функции ошибки, а не вопрос об отсутствии нелинейности или наличия. С ухудшением предсказания при зашумленных входах борются другими методами. Вы всего намешали. Сразу видно, что с нейронами практического опыта вы не имели и учили нейронные сети по статьям на хабре.

[xmoonlight]

notxleb, Если Вам так хочется - спорить не буду.

[notxleb]

xmoonlight, если вы не согласны, то аргументируйте свой ответ

[xmoonlight]

notxleb,

Что за введение в заблуждение? Ты уже год тут торчишь и каждый раз в этом разделе ты несешь какую-то ересь .

После такого - не обязан. Извини)

[notxleb]

xmoonlight, отлично, если не трудно, не заходи в этот раздел. Спасибо)

[xmoonlight]

notxleb, Если ты ничего не нарушил - Модератор просто ограничится предупреждением на первое время.