Можно ли научить нейросеть определить, есть ли в последовательности из 10 чисел 3 подряд убывающих?

Question

[mib]

Здравствуйте
Я хочу составить 1d сеть, у которой на входе будут последовательности из 10 чисел, а на выходе - true / false в зависимости от того, есть ли в этом наборе чисел последовательность из ровно трёх убывающих ?

Я могу генерировать огромное количество таких последовательностей, где гарантированно есть или нет такой признак.
Входной слой по идее примерно такой

import torch.nn as nn
nn.Conv1d(in_channels=1, out_channels=5, kernel_size=(5,), stride=(1,))

(kernel_size 5 потому, что нужно 5 чисел, чтобы убедиться, что только 3 из них убывают)
И на этом мысль останавливается.

может ли сеть вообще обобщить такие признаки ?

Зарангее благодарен за подсказки
Спасибо !

Comments

[freeExec]

Но классический алгоритм будет эффективней.

[rPman]

freeExec, не говори так огульно
у нейросетей есть незаметный бонус, который может оставить позади классические алгоритмы

дело в том что нейронная сеть не требует машину тьюринга для работы, это вообще формула, без ветвлений и условных переходов (хотя, есть сети с обратной связью, но пока опустим), при том формулы там дубовые на столько что в железе могут быть реализованы даже не на один порядок эффективнее а на два и более. Ведь чтобы сложить и умножить может хватит просто аналогового вычислителя.

Напоминаю, лет десять-пятнадцать назад был создан оптический процессор, на порядок оставлял позади в обработке видео классические железки.. но судя по всему того производителя задавили авторитетом (ибо бабки) а оптику оставили в чипах, отвечающих за связь.

Даже на примере использования gpu, одно время у ati видеокарт были отдельно шейдерные процессоры с ветвлением и блоки текстурирования и растеризации, так вот нейронные сети могут использовать все эти блоки для работы, когда как классическим подойдут только шейдерные. Сейчас ситуация похожая, просто в видеокарте отдельно выделяют блоки для работы нейронных сетей, хотя конечно же используется все что имеется.

[freeExec]

rPman, Это ты всё обсуждаешь абстрактного кота в вакууме. В реальности же, можешь конечно взять GPU за 250к и решать на ней. А можешь взять классический проц за 100р и написать цикл с одним условием.

[dmshar]

freeExec, Не просто эффективнее, но эффективнее по всем параметрам: быстрее, меньше памяти, не требует обучения, а при переходе от последовательности из 10 чисел к последовательностям из 11 или поиска не трех, а четырех подряд идущих чисел - надо только изменить параметр, а не выполнить процедуру переобучения.
Не могу придумать ни одной реальной ситуации, когда нейросеть окажется эффективнее.

[rPman]

если уж совсем хорошо подумать, в данном случае очевидно, что человек пришел сюда с академическими задачами из университета

само собой задача топиккастера не должна решаться таким способом

p.s. freeExec ты не можешь взять железку по адекватной цене, потому что в современном мире - 'чипы - новая нефть' со всеми вытекающими от сюда сопутствующими проблемами 'добывающим мощностям' (производителям), конкурентов скупают (а это я наблюдаю как минимум последние лет 10), вот кто вспомнит проект Epiphany с 1024 процессорами в чипе 15ват? пороешься а их оказывается дарпа скупила и нет больше конкурента олигополии nvidia/amd/intel. Одна надежда на конфликт сша-китай, а уж китай что то произведет (они уже занялись, активно)

Answer 1

[rPman]

В теории может.
Чтобы это осознать, попробуй на упрощенном примере, вручную, создать нейронную сеть из минимального количества нейронов, которая бы сравнивала два числа. Каждый нейрон берет сумму ax+by от его входов,и коэффициенты могут быть отрицательными (т.е. может быть и разность) а значит результат, если одно число больше другого станет либо отрицательным либо положительным на выходе - вот уже четкий четкий сигнал для следующего.

Однослойный перцептрон однозначно на это не способен, один слой может только сравнивать два числа (при этом любые, соседние или нет, для этого количество нейронов в первом слое должно быть квадрат от количества входов, если надо три соседних то нейронов должно быть 3n), дальше нужен еще минимум один слой (а скорее больше) чтобы свести результаты в один выход

Comments

[mib]

На самом деле, подготовка данных - важная часть обучения сети. Я ведь могу дать ей не сырые данные, а numpy.diff() - то есть сразу дать на вход список разностей между соседними числами.

Мне интересно именно свойство обобщения. Какая схема сети смогла бы обобщить такой признак, ну или любой другой.

[rPman]

mib, в данной конкретной задаче сеть можно создать вручную, без обучения в принципе

алгоритмы обучения сети обычно сами находят ту структуру сети которая им нужна, и вся работа разработчика, оптимизировать этот процесс, чтобы он не занял слишком много времени/ресурсов