Примерно сколько нейронов требуется на один параметр?

Question

[Евгений Лернер]

Здравствуйте! Очевидно, что это зависит от типа задачи. Тем не менее, может быть есть какие-то средние цифры. Предположим у меня есть ограниченная машина Больцмана и 100 независимых входных параметров. Сколько минимально нужно нейронов в сети? Пожалуйста, отвечайте конкретно на вопрос, общие рекомендации не нужно. Может укажите примеры эффективных нейронных с числом параметров и нейронов

Answer 1

[Александр Скуснов]

1) Советуют наращивать слои, а не количество нейронов в слое.
2) Если применять свёрточные сети, то первый слой может содержать довольно много нейронов, но от слоя к слою можно резко уменьшить количество нейронов в слое.
3) Требуется ещё продумать функции активации и типы сетей (LSTM и проч.)

Comments

[mayton2019]

Интересная эта штука машина Больцмана. Судя по wiki - это полносвязный граф где все факторы связаны со всеми (тоесть начиная от 100 штук) плюс еще некоторое количество hidden нейронов, количество которых нигде явно не обозначается. Я думаю что должна быть какая-то рекомендация. Пропорция может быть. Или требования к сходимости.

[Евгений Лернер]

mayton2019, и я думаю что рекомендации есть . Надо найти. О том и вопрос