На просторах Github есть множество различных готовых нейросетей для Node.js. Например. В опциях настройки обучения сети есть такой параметр как rate - скорость обучения.
Никак не могу понять скорость 0,1 большем чем 0,3?А 0,3 и 0,03 как соотносятся? Какая скорость выше?
Эксперименты как-то ясного результата не выявили. На мой взгляд одинаково)
В процессе обучения вы минимизируете функцию потерь, ищете её дно:
«Скорость обучения» == «величина шага». Если слишком большие шаги, есть риск проскочить свою остановку. Если слишком маленькие – придёте, но пешком быстрее. : )
На иллюстрации приведена ещё более оптимальная стратегия, когда величина шага изменяется с каждой итерацией от большого к меньшему.
Простой
