Опция rate — c чем ее едят?

Question

[fandorin_official]

На просторах Github есть множество различных готовых нейросетей для Node.js. Например. В опциях настройки обучения сети есть такой параметр как rate - скорость обучения.

Никак не могу понять скорость 0,1 большем чем 0,3?А 0,3 и 0,03 как соотносятся? Какая скорость выше?

Эксперименты как-то ясного результата не выявили. На мой взгляд одинаково)

Answer 1

[Сергей Соколов]

Почитайте про то как работает градиентный спуск.

В процессе обучения вы минимизируете функцию потерь, ищете её дно:


«Скорость обучения» == «величина шага». Если слишком большие шаги, есть риск проскочить свою остановку. Если слишком маленькие – придёте, но пешком быстрее. : )

На иллюстрации приведена ещё более оптимальная стратегия, когда величина шага изменяется с каждой итерацией от большого к меньшему.