Почему непопулярна функция активации softsign?

Question

[Tamul]

На Википедии в статье о функциях активации искусственных нейронов нашёл функцию с названием Softsign, которая считается просто как f(x) = x/(1+|x|) и имеет область значений от -1 до 1 с пересечением нуля координат. Кроме статьи на Википедии в других местах нашёл буквально два-три упоминания о ней, и то не о результатах реальной работы.
Собственно, а чем она настолько неподходящая, что её не пихают в каждую статью о нейросетях? Про гораздо более редкие (и куда более странные) функции куча информации удачного и неудачного применения, а тут ничего.
Одна из статей: тыц

Answer 1

[Сергей]

Непопулярность идет от-того что это ломаная функция. И производная от неё в точке 0 не определена.
Сейчас для обучения НС принято использовать метод обратного распространения ошибки, который использует производную для корректировки весов. Соответственно данный вид функции создает проблемы с вычислениями.

Comments

[wisgest]

И производная от неё в точке 0 не определена.

Неправда:
f'(x) = 1/((1+|x|)^2); f'(0) = 1

Но, если это имеет значение, разрывна 2-я производная:
f''(x) = -(1/2) * sign(x) * (1+|x|); f''(-0) = 1/2; f''(+0) = - 1/2