Какой аналог метод ньютона для многомерного пространства?

Question

[Prizm]

Существует метод Ньютона для нахождения нуля функции: x -> x-y/y' и метод градиентного спуска для нахождения минимума функции: x -> x - a*gradx.
Можно ли их "скрестить" и получить более оптимальную версию градиентного спуска, например формулой x -> x - a*y*gradx/(|gradx|^2)? Если да, то как это сделать правильно? А если нет, то почему?

Answer 1

[Prizm]

Спустя некоторое время выяснила, что всё описанное выше - частные случаи оптимизаторов (в вопросе забыла уточнить, что всё это необходимо было для обучения нейросети градиентным спуском), например - оптимизатора adam. Им пользоваться проще всего.

Answer 2

[Илья]

Не совсем понимаю, в чем суть задумки. А вернее, какой результат вы хотите получить?

Метод Ньютона находит ноль функции - просто точку, в которой функция будет равна нулю.
Метод градиентного спуска находит минимум функции (не всегда глобальный).
Ноль функции не обязательно должен быть ее минимумом.

Comments

[Prizm]

Дело в том, что обычный градиентный спуск слишком сильно "сдвигает" точку при большом градиенте и слишком слабо при малом, хотя понятно, что при большом "наклоне" функции имеет смысл замедлиться. А метод Ньютона как раз это учитывает, поэтому, я подумала, что какой-то его аналог может помочь решить проблему.
И да, в данном случае, функция принимает неотрицательные значения, а её минимум стремится к нулю.

[Илья]

Если функция имеет большой "наклон" - это значит, что мы далеко от ее минимума (в общем случае), поэтому нам как раз не нужно замедляться, а стоит сделать шаг побольше.