Как сконфигурировать сеть с большим количеством выходных нейронов?

Question

[Алексей]

Сразу оговорюсь, что библиотеками не пользуюсь. Сеть своя. Все банальные тесты на классификацию работают.
Суть.
Пытаюсь создать сеть где на выходном слое в перспективе будет 50+ нейронов.
В качестве активационной функции - Сигмоидальная.
Независимо от количества слоев и нейронов в слое, ошибка останавливается на 1.3333...
В конечном результате, при тестовом прогоне, все выходные нейроны равны нулю.
Собственно вопрос... Как сконфигурировать сеть с 50+ нейронами на выходном слое, при условии, что в результате несколько нейронов могут принимать значение приближенное к единице, а не один из, как в случае с простым классификатором?
UPD: Прогнал на маленьких слоях: 5->10->5 - все работает.

Answer 1

[Владимир Олохтонов]

Проведите аналогичный тест с использованием одного из распространенных фреймворков (keras, pytorch).

Если там всё будет работать нормально, значит баг в вашей самописной библиотеке.

Comments

[Алексей]

Да мне бы принцип понять, а не так что я положил что то в магическую коробку и получил результат.

[Владимир Олохтонов]

Алексей, попробуйте вот сюда подсмотреть, этот курс как раз выстроен для понимания через руки https://github.com/yandexdataschool/Practical_DL

Если у вас всё написано правильно (именно это я предлагал проверить с помощью keras), то вы можете попробовать уменьшить ошибку добавив нелинейности с помощью функции ReLU вместо сигмоиды.

[Алексей]

Владимир Олохтонов Спасибо за материал, гляну.