Как работает нейронная сеть?

Question

[MaxiZm]

Рассмотрим регрессионную модель ML, тут всё понятно, мы подбираем веса и биас при работе с учителем по данным y. и параметрами X
Рассмотрим нейронную сеть, каждый нейрон это линейная регрессия. Но тут возникает вопрос: для первого слоя у нас есть входной X, но нет выходного y , а для последних нет входного x, но есть выходные y. Как обучать каждый нейрон нейросети? В каждый нейрон давать желаемые параметры Y и входные x? Или каким-то другим способом?

Comments

[dmshar]

А попробуйте нарисовать архитектуру НС, в которой нет выходного слоя. Просто даже интересно стало. То-ли я чего-то не понимаю, то-ли вы что-то недоговариваете. Что по вашему такой нейрон может делать?

(Надеюсь, вопрос задан не просто так. Хоть в одну книжку по нейросетям вы успели перед этим заглянуть?)

Answer 1

[mayton2019]

Рассмотрим нейронную сеть, каждый нейрон это линейная регрессия. Но тут возникает вопрос

Дружище, если ты встал на путь создателя чего-то нового - то тебе никто не вправе отвечать на вопрос как сделать дальше. Ты - художник и ты так видишь. Это - твоя вселенная безумия и тебе с ней жить.

Вообще если изучать эту науку просто комбинируя куски архитектур типа - "а что если мы это поставим сюда" - то несомненно мы что-то получим. Но дать физический смысл отклику этой системы мы не сможем. Система может выдавать константу на выходе или сложный шум который ни к чему невозможно привязать.

Если ты хочешь ответов основанных на работах классиков - то будь добр - бери нейрон который делает скалярное произведение входов с весами и применяет известную науке активационную функцию (порог, сигмоид, тангенс). Тогда ты получишь более осмысленные ответы.

Answer 2

[Александр Скуснов]

1) Обычно функция активации слоя нелинейна (напр., сигмоида).
2) Обучение за счёт обратного распространения ошибок. (у функции активации надо знать производную)