Зачем несколько слоев в tensorflow и как они работают?

Question

[AlexBoss]

Добрый день. При решении одной и той же задачи встречаю такие вариации:
1) model.add(keras.layers.Dense(800, activation='relu'))

2)model.add(keras.layers.Dense(500, activation='relu'))
model.add(keras.layers.Dense(150, activation='relu'))

Какой в данном случае смысл второго слоя, и, если не сложно, просьба объяснить на пальцах как он работает.
Я понимаю, что нейроны первого слоя связаны каждый с каждым второго слоя и что это повышает качество сети, но почему не проще в данном случае сделать один масштабный слой?

Answer 1

[origami1024]

На пальцах не объяснить, это не доказанный вопрос. Теоретически любая функция может быть построена и обучена на одном слое, если там достаточно много нейронов. Но эмпирически более сложная функция может быть построена и легче обучена на 6 нейронах в виде двух слоев 3-3, чем 6 нейронах в одном слое.

Comments

[AlexBoss]

Если не затруднит, что посоветуешь почитать по этому поводу? Хочу понять, но нигде не объясняют это. Просто пишут: добавим два слоя с полносвязными нейронами и все..

[origami1024]

Могу только посоветовать оригинальные статьи Хинтона, Лекуна, Бенжио.
На вопрос почему много слоев работает лучше чем один нет теоретического обоснования.
Исследователи в основном пробуют что-то новое в каждой статье.
Ты можешь сделать одинаковый функционал с 1м слоем и с 1000.
Количество слоев для определенной проблемы можно обосновать тем, что в других подобных проектах сейчас популярно столько слоев и ты таким образом будешь полагаться на их опыт и развивать его.

[AlexBoss]

origami1024, забавно, спасибо) То есть имеет смысл тестить разное количество dense слоев и смотреть на результат, я правильно понял?

[origami1024]

AlexBoss,
Есть еще эмпирически не опровергнутое утверждение, что на одном слое для сложных функций нужно значительно больше нейронов для описания той же функции, что можно описать большим кол-вом слоев.

[origami1024]

Универсальная теорема аппроксимации
https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D...

Answer 2

[TriKrista]

ИМХО, если на пальцах, в общем случае, каждый слой можно заменить одной кривой на графике, к примеру для разделения груш от яблок, хватит одной кривой, и того один слой, а для решения задачи "ИЛИ" нужно две кривые, итого два слоя.

Так же, в общем случае, для решения одной и той же задачи, многослойная сеть потребует меньше синапсов чем однослойная.

Comments

[AlexBoss]

Так да, это я понимаю. Но мы же не задаем никакое условия для функции, а просто пихаем +n слоев такого же типа, с тем же активатором. Вот это для меня вообще дико и не понятно)

[origami1024]

каждый слой можно заменить одной кривой на графике, к примеру для разделения груш от яблок

Это не верно.
Если у тебя 0 скрытых слоев, (то есть слой инпутов и слой оутпутов) тогда сеть только линейные функции может описывать.
Если у тебя есть хотябы 1 слой между ними, то чтобы добавить новую кривую на график, нужно добавить 1 нейрон в этот скрытый слой.
И сеть с 1им скрытым слоем может аппроксимировать любую нелинейную ф-цию.

[AlexBoss]

origami1024, при добавлении нейрона, за счет веса w и формируется f(x) = w*x?

[origami1024]

AlexBoss,

при добавлении нейрона, за счет веса w и формируется f(x) = w*x?

Так просто ты не поймешь, добавление нейрона влияет на возможности всех других нейронов.
Проекты с нейронными сетями делаются без понимания что делает каждый нейрон. И даже если добыть какое-то понимание, то это одна возможная интерпретация.
Понимать можно глобальные возможности сети с определенными параметрами

[TriKrista]

origami1024, да, вы правы, насчет слоев.

[BitNeBolt]

Нет, активационная функция на вход принимает сумму произведений, но если связь 1, то это верно

Answer 3

[ivodopyanov]

https://playground.tensorflow.org/
Тут можно поиграться с количеством слоев и нейронов в тривиальной сети и посмотреть, как эти параметры влияют на выразительность модели.