imageman, га справляется лучше. Поэтому широко используется. Я думал соединить, но тут подсказали adam. Это разновидность статистического градиента. Наиболее широко испоьлзуетс в нс
Максим Припадчев, это методы Ньютона и сопряжённых градиентов . Быстро сходятся, для квадратичных функций за один шаг. если никакой гадости рядом нет то вроде хорошо было бы использовать .от дифференциальной эволюции отказываюсь. Надёжный но медленный
Тут написали что чаще используют afam, который отчасти статистический. Градиентный очень уязвим к оврагам и докалам. Дело не только в дииференцируемости
freeExec, застревает но меньше. Аналогично имитация отжига, тоже статистический и ещё менее эффективный. Например градиентный спуск часто упоминают, но он очень не надёжный. Хотелось бы иметь более конкретную информацию
Дифференциальная эволюция сейчас по сути стандарт.безрахдично какая архитектура сети надо решать задачу оптимизации. Знаете ли вы примеры использования генетических алгоритмов ? Рассуждения не очень интересны