• Нейронные сети и back propagation

    akhmelev
    @akhmelev
    программист
    На пальцах так.

    Есть обучающая выборка — т.е. таблица с данными, допустим первые 10 столбцов это вход, оставшиеся 5 — это выход искомой нейросетевой модели. Берем случайно одну строку из таблицы. Назовем её отдельный экземпляр или образ данных. Подаем 10 элементов на вход, нейросеть при текущих значениях синапсов считает, что будет на выходе (5 значений).

    Начинается один шаг back propagation. Сравнивается полученный выход нейросети с эталонным в обучающей таблице. Если реальный выход одного из пяти выходных элементов нейросети имеет ошибку, то синаптические коэффициенты этого выходного нейрона нужно чуть-чуть изменить так, чтобы эта ошибка чуть-чуть уменьшилась. И так для всех пяти выходов. Для многослойных сетей процесс каскадно повторяется, пока движение коррекций синапсов от выхода сети не доберется до её входа. Т.е. мы сделали сеть на этом шаге чуть-чуть точнее для этой одной конкретной строки из обучающей таблицы.

    Процесс многократно повторяется на разных случайных строках таблицы (на каждом шаге ошибка каждого образа всякий раз становтся меньше), пока средняя ошибка по всей таблице не достигнет заранее заданной точности. В итоге полученная нейросеть может уверенно распознать все строки из обучающей таблицы (образы). При верном выборе архитектуры и скорости обучения нейросеть получит свое основное качество — умение обобщать знания, т.е. распознавать не только опорные образы из обучающей таблицы, но и некие промежуточные, ранее неизвестные образы.

    В вычислительном процессе есть две опасности — паралич сети (выход синаптических коэффициентов на очень большие значения) и переобучение (потеря способности обобщению, т.е. сеть может верно распознать лишь образы из таблицы, но не промежуточные).

    Это совсем на пальцах. Для полного понимания поста не хватит, надо матчасть учить: Круглов, Хайкин, Терехов, Галушкин в помощь. Особенно Хайкин.
    Ответ написан
    3 комментария
  • Появится ли игра, что вновь взбудоражит мир?

    mshewzov
    @mshewzov
    Юрист и IT-любитель
    Braid — обалденная игра! Но инди)
    Ответ написан
    1 комментарий
  • Подскажите книгу по Python'у

    Karde
    @Karde
    Ph.D. student at the GWU & CBI
    Марк Лутц: Изучаем Python 3-е издание. Сейчас лежит на столе рядом со мной. Начет электронного варианта — не знаю, но скорее всего есть.
    Хорошо рассказывает, правда и более подробно, чем нужно тому, кто хорошо знаком с программированием, но в целом — очень хорошая книга.
    А так — tutorial python-а просто замечательная вещь, в плане изучения языка.
    Ответ написан
    2 комментария