Нейросеть. Как формулы функций активации перевести в код на python?

Question

[kaktak255]

Необходимо максимальное количество функций активации, в этих поисках я забрел на википедию https://ru.wikipedia.org/wiki/Функция_активации , увидев графики и формулы я обрадовался вот же они , то что я искал . Потом понял что перевести их в код на пайтон я не могу так как вообще не понимаю что куда и как .
Единственное что у меня есть так это сигмоида:

def sigmoid(x):  
    return math.exp(-np.logaddexp(0, -x))

Вначале я искал в инете функции активации в виде кода уже готовые но ничего не нашел кроме сигмоиды.

Answer 1

[dmshar]

Если "Питон знаю , я формулы не понимаю" - значит надо учить математику. За одно - зайти в темы типа "a нужна-ли математика для машинного обучения" и написать свое мнение.

Answer 2

[Dimonchik]

выучить Питон

модули Numpy и Math, а лучше сразу scikit-learn

Comments

[kaktak255]

Питон знаю , я формулы не понимаю

[Dimonchik]

давай пример

[kaktak255]

формула функции активации RELU

то что тут понятно если в функцию отправляем число меньше нуля то возвращает нуль , а если больше 0 то 1?
Но релу вроде не так работает

[kaktak255]

dimonchik2013,

Параметрический линейный выпрямитель (англ. Parameteric rectified linear unit, PReLU)

а тут как?

[Dimonchik]

ну а тут возвращаем коэффициент - параметр этот вместо нуля, утечка или что там он значит

обычные формулы