Какие эвристики существуют в методах градиентного спуска?

Question

[tj57]

В университете преподаватель во время защиты лабораторной задал вопрос, как понятие "эвристика" связано с алгоритмом градиентного спуска, какие именно эвристики существуют в градиентном спуске и т.д. Что он имел ввиду? Насколько я знаю, эвристический подход применяется при выборе направления в стохастическом градиентном спуске, но это вряд ли является ответом на вопрос.

Answer 1

[ivodopyanov]

Скорее всего, он и имел ввиду стохастический градиентный спуск. Там есть несколько приемов \ алгоритмов, которые позволяют ускорить его сходимость. Самый простой - использование момента.