Нейронные сети — как правильно подсчитать производную функции?

Question

[freestyle37]

Здравствуйте!

Читал по порядку статьи про нейронные сети:
1 часть - https://habr.com/ru/articles/312450/
2 часть - https://habr.com/ru/articles/313216/

Во второй части наткнулся на график f(x) = x^2 * sin(x)


Где в точках графика вычисляется производная функции f(x) = x^2 * sin(x)
(x^2 * sin(x))' = (x^2)' * sin(x) + x^2 * (sin(x))' = 2x * sin(x) + x^2 * cos(x)

Теперь считаем производную в точке x = 2.5
2*2.5 * sin(2.5) + (2.5)^2 * cos(2.5) = 5 * 0.59 + 6.25 * (-0.8) = 2.95 - 5 = -2.05

По графику должно быть: -7.0

Просьба, подскажите, где я ошибся в вычислениях?

И еще подскажите, что означает "Descending with step coefficient" (убывание со ступенчатым коэффициентом) 0.005? Где используется этот шаг?

С уважением, Иван.

Comments

[U235U235]

У вас все верно. Почему бы вам не задать вопрос по графикам автору статьи?

Answer 1

[mayton2019]

Первое замечание по картинкам. Ты видишь какой у тебя масштаб по OX, и по OY ? Там 10-кратная разница
в цене деления. Как ты в таких условиях можешь адекватно оценить величину производной на графике?

Answer 2

[freestyle37]

Здравствуйте, mayton2019!

Я понимаю, что 10-кратная разница. Но на графике стоят конкретные знаения X и Y, именно по ним я и делал расчет.
Понимаю, если ошибка в десятичных числах, но у меня расхождения в единицах.

Comments

[mayton2019]

Извини статьи по ссылкам я не читал.

Давай вернемся в самое начало вопроса. Твой вопрос звучит так.

Нейронные сети — как правильно подсчитать производную функции?

Для производной никакие нейронные сети не нужны. Расчет производной - это простая
задача и ее решали еще в 20 веке на Lisp/Scheme аналитически. Сегодня ее решают на
MatCad, MathLab e.t.c.

Ты нашел ее по формуле произвдения двух функций 2x * sin(x) + x^2 * cos(x)
На вид правильно.

Далее по тексту ты почему то занят каким-то численным методом типа градиентного спуска.
И непонятно зачем. Искать минимальное значение? Не забывай что минимальное значение
также лежит на краях функции по области определения. Там где ты численно не посчитаешь.
Ведь у тебя область определения от минус бесконечности до плюс бесконечности
а численные методы требуют конкретных чисел со старта. А конкретные числа
появляются как начальное приближение.

И от удачи выбора начального приближения зависит успех таких методов. Поэтому
градиент - это сложная штука. Вот возьми ты начальное приближение x=2.5 чуть левее
и у тебя уже за 50 итераций точка может вообще никуда не двинется. Может поедет
влево.

Какой результат ты получишь - чорт его знает. И если спросить а как правильно? То я бы ответил
а что ты вообще хотел? Производную то уже нашел.

[freestyle37]

Я же не просто так давал ссылки на статьи.

Меня интересовали нейронные сети, и для решения это задачи требовалось узнать производную функции (или скорее откуда появляются ТАКИЕ ДАННЫЕ).

Прикладываю рисунок:


Выходит у автора ошибки в вычислениях?

Answer 3

[Максим Припадчев]

Статьи не смотрел. Производную ты посчитал верно.

На графике ошибка. Нету в этой точке такого значения производной. Градиентный спуск это про оптимизации нахождение минимумов или максимумов. Если использовать формулу аппроксимации, f(x0)' = (f(x0) - f(x0-h)) / h, где h - это маленький шаг, то в зависимости от того на сколько он мал, мы будем стремится к значению -2.01.
По этому откуда там -7 я понятия не имею.