Как обучается нейронная сеть?

Question

[Denisca Gareev]

Пишу свою "игрушечную" нейронную сеть.
Но не могу понять как она обучается, как бы я понимаю что обратным распространением ошибки.
И я сделал это распространение.
Но как сделать что то типа этого:
input: [0, 1], output: [0]
input: [1, 0], output: [1]
понять не могу :'(
выход всегда получается 1.
Помогите пожалуйста.
Спасибо.

Comments

[freeExec]

А в чём помочь? Вы не можете найти ссылку на готовый код? Причём полно обучающихся статей с кодом полностью в ООП нейронами, связями и прочее.
Ну и всегда наглядней это не xor, а апроксимация функции. Там хотя бы видно, что ошибка уменьшается и кривая приближается к заданной функции.

[Denisca Gareev]

Как сделать что бы если давать на вход например 1 выдавал 0, если же 0 давал 1.
У меня всегда выводит 1 после обучения.
И да я просто хочу написать свой велосипед.

[dmshar]

А можно полюбопытствовать, какую книгу/статью/сайт/видео просмотрели, после которого решились на самостоятельное написание сети и в котором не было объяснено, как ее написать для вот этого исключительно игрушечного примера?

[Denisca Gareev]

dmshar, Вот https://habr.com/ru/post/312450/, https://habr.com/ru/post/313216/

[dmshar]

Denisca Gareev, Как сделать что бы если давать на вход например 1 выдавал 0, если же 0 давал 1.

if inp[0]==0: 
    out=0
else: 
    out=1

И никакой нейронки для этого не надо.

[Denisca Gareev]

dmshar, Я не хочу использовать просто if я хочу использовать именно нейронную сеть которая бы обучалась и решала что делать.

[dmshar]

Denisca Gareev, Про книги-вебресурсы вы так и не ответили.

[Denisca Gareev]

dmshar, Вот https://habr.com/ru/post/312450/, https://habr.com/ru/post/313216/

[xmoonlight]

Покажите свою схему НС и формулу для вычисления веса одного нейрона.

[Denisca Gareev]

Простите! Я могу дать вам схему и формулу если узнаю какую именно.

вычисления веса одного нейрона

что вы имеете ввиду?

[Denisca Gareev]

Схема проста 2 входа, 1 скрытый слой с двумя нейронами, и 1 выход

[xmoonlight]

Denisca Gareev, поэтому ничего и не работает. Вы даже не понимаете процесс.

[Denisca Gareev]

xmoonlight, Да не понимаю и задал вопрос что бы мне объяснили.

[dmshar]

Denisca Gareev, Так "процесс" очень четко и внятно описан в тех веб-сайтах, которые вы сами привели выше, как изученные. Что именно в тех описаниях вам не ясно?Конкретно? Не "как она обучается", а" вот делаю по статье то-то и то-то, в статье написано, что должно быть "так", а у меня не выходит".
А если действительно не понятно "как она обучается", значить те сайты вы не изучили, а просто просмотрели.

[Назар Тропанец]

Denisca Gareev, зачем здесь задавать этот вопрос? Вы хотите чтобы мы вам статью по нейронкам написали? Есть куча сайтов и видео про нейронные сети, или вы хотите чтобы вам в 2 строки объяснили как работают нейронки? Идите на хабр, там куча статей по этому поводу, а здесь задают вопросы по коду.

Answer 1

[i]

Ваш вопрос вырван из контекста и без коренной формулировки проблемы получается общим.
Важно понимать, что даже правильно построенная и обученная сеть даст вероятность: input: [0, 1], output: [0.11] и input: [1, 0], output: [0.99], а после применения коэффициента порога доверия к ответу сети получаем ожидаемый результат, например:

parsePrediction(prediction, threshold = 0.5)  {
  if (prediction > threshold) {
    return 1
  } else {
    return 0
  }
}

Посмотрите эту реализацию, коих действительно много, попробуйте слетать альтернативную реализацию и понимание придет.