Как устроена нейросеть?

Question

[1Tima1]

Я не очень понял принцип работы нейросети. Допустим, есть логическая операция ИЛИ со входными данными 1 и 0. После того как она настроит все свои веса, на выходе будем получать 1. А что если на входе будет 0 и 1, а не 1 и 0 получается на выходе будет всегда 0,что неправильно. Может я что-то не понял?
2) при входных данных 1 и 0, как не допустить,чтобы вес 5 стремился к бесконечности и вес 6 стремился к 0?
Ведь это самый простой вариант для получения правильного ответа(в нашем случае)

Возможно,это исходит из непонимания вопроса 1, но уточнять никогда не поздно.

Answer 1

[xmoonlight]

wiki

Answer 2

[Сергей Соколов]

Для логического ИЛИ не нужен скрытый слой "h" – достаточно одного.
От i₁ и i₂ через веса w₁, w₂ и смещение b (всего три параметра), сразу в функцию-активатор и на выход:

b + w₁ * i₁ + w₂ * i₂

Для ИЛИ веса будут b = -1, w₁ = 2, w₂ = 2
Функция-активатор должна из значений <= 0 делать 0, из значений > 0 делать 1.

Comments

[1Tima1]

ну это же так примитивно.
Хорошо дайте мне пожалуйста какие-нибудь простые параметры для того чтобы можно было использовать скрытые слои. Я так понял,что "обучение" с параметрами 1 и 0 не самое лучшее.

[Сергей Соколов]

1Tima1, хороший вариант - датасет MNIST - цифры 0..9 написанные вручную, разными почерками.
Можно построить сеть из всего двух слоёв, чтобы худо-бедно распознавать их.
Поиск по слову "MNIST" найдёт массу уроков.

[Сергей Соколов]

1Tima1, обучение с параметрами 1 и 0 вполне себе. Например, классификаци опухоли: злокачественная или доброкачественная, по 9 входным параметрам.

[1Tima1]

Сергей Соколов, да нет,вы уже загнули. Я же только знакомлюсь с этой сферой.
Для распознавания нужны хорошая база по математике, функции сигмоиды, релу , обратное распространение ошибки, градиентый спуск, пока это все не для меня. Может есть что-то попроще?

[Сергей Соколов]

1Tima1, ну а как обучать сеть без обратного эцсамое ошибки и градиентного сноубординга.
Как у вас с английским? Большинство хороших курсов, которые мне встречались — на англ. Где относительно простым языком про сетки – это Andrew Ng на Coursera, но не за 5 минут, конечно.

[Сергей Соколов]

Вот хорошая статья на англ., может поможет въехать, посмотрите там анимации:
neuralnetworksanddeeplearning.com/chap4.html

Можно попробовать какую-то мат. функцию апроксимировать нейронкой с двумя слоями.
Но, конечно, не с парой нейронов, а парой сотен, хотя бы – поймёте, когда прочтёте статью по ссылке.

Answer 3

[dmshar]

Я уже как-то раз вам советовал. Повторю. Все-таки попытайтесь ИЗУЧАТЬ предмет своего интереса на регулярной основе, и не по статейкам в веб, даже на Хабре, а не выхватывать отдельные факты. А вы продолжаете выхватывать. Кстати, пример с логическими операциями для обучения нейросетям где-то кем-то запущенный и теперь гуляющий по веб с моей точки зрения ничего кроме вреда и запутывания обучающегося не дает. А с практической точки зрения так и вовсе бессмысленен.
Сейчас есть куча неплохих книг. В том числе и для начинающих. Например

Эндрю Траск, Грокаем глубокое обучение. ,
Тарик Рашид.Создаем нейронную сеть
Франсуа Шолле Глубокое обучение на Python

Вот с таких книг и начните.
Тогда не придется за каждым чихом бежать на форум.

Comments

[1Tima1]

Если я по вашим советам буду изучать "предмет своего интереса" то мне ни терпения,ни времени не хватит.
Вот возник у меня в 3 часа ночи вопрос-в чем смысл жизни? и что, мне бежать скупать все философские книжки?

[dmshar]

1Tima1, Ну, хотите свои шишки набивать - набивайте. Лоб-то ваш. Только когда после многих часов ночных посиделок в интернете, вы вдруг поняли, что потратили уйму времени зря, хотя ответ был на пятой странице книжки, и что время(которого не хватает) ушло "не туда" - не говорите, что вас не предупреждали. Может стоило "скупить хоть одну книжку"?