Почему при обучении нейросети нельзя просто вычислить ошибку и подставить такие веса, при которых ошибка будет равна 0?

Question

[Mikle322]

Приведу пример:

Почему в данном примере(при вычислении direction_and_amount) нельзя вместо умножения на input сделать операцию деления? Тогда бы нужный вес нашёлся уже на второй итерации.

Я новичок, поэтому, возможно, вопрос покажется глупым. Прошу строго не судить.

Answer 1

[Александр]

Подставляя такие веса вы настраиваете нейросеть на "конкретный" экземпляр - вырванный из статистики.
Это все равно что сказать что все апельсины одного цвета #fdaf21 а цвета #fdaf22 и #fdaf20 это уже не апельсин а что-то другое.

Comments

[Mikle322]

А, получается, при обучении сеть настраивается на что-то среднее между всеми данными? Т.е сеть учится на конкретных примерах и настраивает по ним веса , а чтобы она могла определить все примеры, то берутся средние веса от всех изученных примеров?

[Александр]

Если грубо сказать - то да. Веса подбираются таким образом чтобы "соответвовать" любому из примеров.

Answer 2

[Сергей Соколов]

В этом утрированном примере — можно.

В более сложных сетях искомая зависимость неизвестна,
поэтому веса подбирают маленькими шажочками.

Answer 3

[xmoonlight]

Можно, но иногда точное вычисление ошибки на каждой итерации сравнимо с созданием ещё одной параллельной нейросети или аналитической системы.
Поэтому, если результат >90% - считают: "И так сойдёт!"... :((

Кстати, если изначально правильно построить мат.модель НС - можно вообще исключить появление ошибок.