Для чего нужна функция активации?

Question

[RandomProgrammer]

Начал изучать машинное обучение. Попытался разобраться как устроен перцептрон, и столкнулся с тем, что не знаю для чего нужна функция активации и что она должна делать.
С остальными его частями(входные данные, веса, нейрон), как они работают и для чего нужны я уже разобрался. Объясните пожалуйста для чего нужна функция активации, если можно на конкретном примере.

Answer 1

[freeExec]

Для нелинейности, иначе всё можно свернуть к некой более простой формуле, чем 100500 коэффициентов.

Comments

[RandomProgrammer]

Т.е. функция активации необязательна должна быть в каждом перцептроне?

[freeExec]

RandomProgrammer, если её не сделать в каждом, то условную цепочку из 3 перцептронов можно будет свернуть к одному перцептрону с другими весами. Т.е. ты проигрываешь, и считаешь 2 лишних раза.

Answer 2

[mayton2019]

Функцию активации невозможно объяснить в отрыве от нейрона. Главные требования к ней - непрерывность и монотонность на всей области определения. В качестве такой функции берут либо логистический сигмоид либо гиперболический тангенс. Они - насыщаются на границах. Тоесть бесконечный рост аргумента не приводит к росту функции.

Функция связанна с теоремой Колмогорова Арнольда.