Какие эвристики существуют в методах градиентного спуска?
В университете преподаватель во время защиты лабораторной задал вопрос, как понятие "эвристика" связано с алгоритмом градиентного спуска, какие именно эвристики существуют в градиентном спуске и т.д. Что он имел ввиду? Насколько я знаю, эвристический подход применяется при выборе направления в стохастическом градиентном спуске, но это вряд ли является ответом на вопрос.
Скорее всего, он и имел ввиду стохастический градиентный спуск. Там есть несколько приемов \ алгоритмов, которые позволяют ускорить его сходимость. Самый простой - использование момента.
Сложный
