На чем основан принцип обучаемости нейронных сетей?

Question

[angos1206]

За счет чего программа приближается к заданной цели, она должна перебирать алгоритмы достижения результата и компоновать саму себя из самых удачных?

Answer 1

[nirvimel]

Нейронная сеть (как природная, так и искусственная) по сути своей представят функцию (да, Y=F(X) только очень сложную), выходом Y которой является некоторое поведение субъекта (или программы), а входом X служит некоторая императивная информация (от органов чувств, например). Суть обучения в поиске оптимального значения F(X), при котором достигается наилучшая приспособленность субъекта/программы к поставленной задаче (для живых существ задача - выживание). Обучение происходит путем мелких итеративных шагов от менее оптимальных вариантов функции F к более оптимальным (а не перебором всех возможных вариантов). Подавая на вход F различные значения X, учитель (или естественный отбор) "поощряет" варианты, при которых F дает на выходе более точные значения Y (лучше соответствующие поставленной задаче) и "наказывает" за худшие (относительно предыдущих достижений) варианты. "Поощрение" и "наказание" происходит путем (нерезкого) усиления/ослабления тех нейронных связей, которые были более других задействованы в ходе последней итерации, то есть внесли в успех/неудачу наибольший вклад. Таким образом в ходе мелких последовательных итераций "интеллект" (возможно даже без кавычек) нейронной сети постепенно затачивается под решаемую задачу (простой перебор не дал бы таких результатов и за 100⁵⁰⁰ лет).

Comments

[Saboteur]

Только весь прикол в том, что выживание не является постановленной задачей, просто те, кто выживают/оставляют потомство - выжили и оставили потомство. Таким образом сам принцип эволюции оказался причиной для существования эволюции ;)

[Philipp]

Условно говоря, нейронная сеть - это обучаемый ПИД-регулятор.

[angos1206]

В итоге, что получается? Исполняемый файл, как набор правильных реакций для всех входных состояний? Динамический фильтр.

Answer 2

[Алексей]

Вы, возможно, путаете "нейронные сети" и "генетические алгоритмы".
В нейронных сетях при обучении формируются связи между нейронами.

Answer 3

[Александр Пожарский]

У нас есть функция ошибки f(x1,...,x_n) (где x1-xn - параметры сети (её устройство, веса связей. Ну, устройство, положим, меняется - но можно же (упрощенно) считать отсутствие связи за связь с нулевым весом)).

Соответственно, стоит задача её минимизации.

В случае искусственных - одним из алгоритмов оптимизации (разумеется, лучшие результаты - со специфическими для нейронных сетей), рассчитывающим значение ошибки на входных данных, в случае естественных - несколько сложнее. Как минимум :
- ЕМНИП, оптимизация таки имеет место.
- рандом (как минимум - в виде мутаций)
- невыживание большей части неудачных экземпляров.

Answer 4

[xmoonlight]

Принцип обучаемости основан на знаниях: на значениях входных и выходных коэффициентов всех предыдущих поколений/циклов/итераций.

Answer 5

[iv_k]

принцип подбора весовых коэффициентов для входов, чтобы пороговая функция срабатывала на определенные входные сигналы. гуглите перцептрон