Почему непопулярна функция активации softsign?

На Википедии в статье о функциях активации искусственных нейронов нашёл функцию с названием Softsign, которая считается просто как f(x) = x/(1+|x|) и имеет область значений от -1 до 1 с пересечением нуля координат. Кроме статьи на Википедии в других местах нашёл буквально два-три упоминания о ней, и то не о результатах реальной работы.
Собственно, а чем она настолько неподходящая, что её не пихают в каждую статью о нейросетях? Про гораздо более редкие (и куда более странные) функции куча информации удачного и неудачного применения, а тут ничего.
Одна из статей: тыц
softsign.png?resize=371%2C264&ssl=1
  • Вопрос задан
  • 429 просмотров
Пригласить эксперта
Ответы на вопрос 1
begemot_sun
@begemot_sun
Программист в душе.
Непопулярность идет от-того что это ломаная функция. И производная от неё в точке 0 не определена.
Сейчас для обучения НС принято использовать метод обратного распространения ошибки, который использует производную для корректировки весов. Соответственно данный вид функции создает проблемы с вычислениями.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы