Как получают два вида производной, на примере сигмоида?

Question

[qovalenko]

Найдем производную функции


f(x) = 1 / (1 + e^(-x))
и я видел, что его производная
dy/dx = f(x)' = f(x) * (1 - f(x))
Производная так считают в машинном обучении
Где подробно изучить эту тему, помогите понять второй вид производной.
Спасибо!

Answer 1

[Денис Загаевский]

Производная частного равна разности произведения производной числителя на знаменатель и произведения числителя на производную знаменателя, деленной на квадрат знаменателя.

(1/(1 + е^-х))'
= (1' * (1 + е^-х) - 1 * (1 + е^-х)')/(1 + е^-х)^2 #по формуле производной частного
=( 0 * (...) - 1' + (е^-х)' )/(1 + е^-х)^2 #по формуле производной суммы
= (- e^-x * (-x)')/(1 + е^-х)^2 #по формуле производной экспоненты
= (e^-x)/(1 + е^-х)^2

Дальше
f(x) = 1/(1 + е^-х)
(e^-x)/(1 + е^-х)^2
= (e^-x)/(1 + е^-х) * 1/(1 + е^-х)
= (e^-x)/(1 + е^-х) * f(x)
= (-1 + 1 + e^-x) / (1 + e^-x) * f(x)
= (-1 + (1 + e^-x)) / (1 + e^-x) * f(x)
= ((-1 / (1 + e^-x) + (1 + e^-x)/(1 + e^-x)) * f(x)
= (1 - (1/(1 + e^-x))) * f(x)
= (1 - f(x)) * f(x)

То есть это никакой не "другой способ вычисления производной в МЛ", это просто преобразования производной этой конкретной функции.

Подробнее изучить в учебнике по математике за 8-11 класс.

Comments

[qovalenko]

Добавил информацию в вопросе, так принято считать производную в машинном обучении

[Денис Загаевский]

qovalenko, всё, я понял.
f(x) = 1/(1 + е^-х)
(e^-x)/(1 + е^-х)^2
= (e^-x)/(1 + е^-х) * 1/(1 + е^-х)
= (e^-x)/(1 + е^-х) * f(x)
= (-1 + 1 + e^-x) / (1 + e^-x) * f(x)
= (-1 + (1 + e^-x)) / (1 + e^-x) * f(x)
= ((-1 / (1 + e^-x) + (1 + e^-x)/(1 + e^-x)) * f(x)
= (1 - (1/(1 + e^-x))) * f(x)
= (1 - f(x)) * f(x)

То есть это никакой не "другой способ вычисления производной в МЛ", это просто преобразования производной этой конкретной функции.

Ответ обновлю.

[qovalenko]

Денис Загаевский, Спасибо!

Answer 2

[Владимир Олохтонов]

Это обычная производная сложной функции, почитайте вот эту статью и следующие за ней, чтобы научиться работать с производными, это вам в любом случае пригодится.

https://mathprofi.net/kak_naiti_proizvodnuju.html

Вот ответ на вторую часть вашего вопроса:
https://towardsdatascience.com/derivative-of-the-s...

Просто эквивалентные преобразования, не более.