Есть ли алгоритмы нейронных сетей с переменным числом входящих каналов?

Question

[Виталий Пухов]

Если в двух словах, есть некие типы входных каналов, количество входов в каждом типе каналов должно меняться без перестройки сети или с минимальной перестройкой (без переобучения). Выходных каналов должно быть определенное число. Обучение устроить не проблема. Сколько читал не нашел есть ли такие алгоритмы, везде конфигурация сети настраивается при создании сети и не может меняться. Может кто знает похожий алгоритм?

Comments

[d'Ivan]

Виталий Пухов Наверно нужно таки пересмотреть варианты кодирования входов.

[Виталий Пухов]

Роман: Думал об этом, единственное что более менее можно применить это масштабирование, но с потерей данных, думал может кто то уже встречался с этим

[ivodopyanov]

Если количество входов сверху ограничено, то можно ведь зафиксировать его таким и на все незадействованные подавать 0

[Виталий Пухов]

ivodopyanov: ограничено только фантазией:) В идеале и до тысячи на 1 вход может быть

Answer 1

[azzzimo]

Что касается какого-либо официального решения - я к сожалению не в курсе, существует ли такое.

Однако, у меня возник один вопрос:
Почему у вас количество входных каналов разное?
Если это логически разные сущности, то очевидно для них стоит сделать раздельные модели, а затем как-то работать с их результатами.
Если же это логически одинаковые сущности, то отсутствие какой-либо информации я бы тоже считал информацией. Возможно, можно попробовать заполнять их или дефолтными значениям, отличными от всех возможных, когда информация есть, и обучать модель в обычном режиме.

Comments

[Виталий Пухов]

Логически разные, идея неплохая, попробую их разделить и с ними отдельно работать. Спасибо.

Answer 2

[Sergei Sudakov]

К сожалению, ни разу не встречал такого, насколько я знаю, задание фиксированной структуры - ограничение нейронной сети. И это в общем-то понятно, если в случае уменьшения входов ещё понятно что делать - выключать forward propagation на лишних нейронах (что, в общем-то можно сделать просто заполняя недостающую информацию нулями), то в случае увеличения не очень понятно, откуда брать веса связей с нейронами следующих уровней.

Поэтому классически эту проблему решают предобработкой данных к одному размеру. Например, ресайз картинок к одному размеру, даже в случае потери качества. В сложном случае можно сделать несколько кропов фиксированного размера и устроить голосование по результатам на выходе.

Answer 3

[asurlot]

Смотрите RNN или CNN, выбор зависит от того, какой природы данные.