Какая конфигурация нейронной сети лучше для временной последовательности?

Question

[Евгений Лернер]

Как выбрать конфигурацию нейронной сети для работы с временной последовательностью ? От каких вероятностных характеристик последовательности зависит выбор?
Я знаю что используют ограниченную машину Больцмана , сврточные сети, рекуррентные сети. Что ещё используют?

Comments

[mayton2019]

Временная последовательность это просто датасет.

Задачу надо поставить сначала. Прогнозирование?

[Евгений Лернер]

mayton2019, да

[Everything_is_not_so_bad]

Если нужно для обработки сигналов, то нейросети не особо подходят. Есть не столь чувствительные техники обработки данных к количеству памяти и процессору. Даже если нужно для прогнозирования.

[Евгений Лернер]

Иерокопус Таманский, интересует именно сети.ресуосы значения не имеют. Вы знаете ответ на вопрос?

Answer 1

[Максим Припадчев]

А здесь основная работа - это препроцессинг данных. По нейронкам это RNN. И это наверное процентов 5 времени, все остальное это подготовка данных. Конвертации времени в сигналы, нормализации, оконные функции, правильные сплиты и т.д. Time Series предполагает очень сложный препроцессинг.

Если задача с временной последовательностью, то нужно тратить время, на изучение необходимых трансформаций. А сама нейронка это ерунда.

Ну и не много не в тему вопроса, при работе с ts я бы вообще не использовал нейронные сети. Нейронные сети не являются интерпретируемыми моделями. Что это значит? Например у меня есть параметры на вход и один из них ну скажем пускай будет средняя скользящая за неделю, так вот я никогда не смогу сформулировать взаимоотношения между отдельно взятым предиктором в данном случае (средней скользящей) и целью пусть будет цена акции. По этому я бы смотрел в сторону GAM (General Additive Models). Все regressive модели их много это подсеты GAM, когда речь идет о ts то появляется приставка auto. Так вот там можно сформулировать взаимоотношения между отдельным предиктором и целью, а на длинной дистанции это очень важно. GAM это класс моделей а не отдельно взятый алгоритм.

Comments

[Евгений Лернер]

Не уверен что сеть ерунда. То что важна подготовка ясно, в моем случае она примерно ясна

[Максим Припадчев]

Евгений Лернер, Ну так делайте, для time series есть специальный класс нейронок, RNN. Но только 95 процентов работы с ts это препроцессинг, это особый сложный случай. А там во что вы верите это ваше личное дело.

[Евгений Лернер]

Максим Припадчев, конечно нейронная сеть не панацея. Это всего лишь система нелинейных уравнений . Но я хочу сочетать разные входные последовательности . Например цену и объем продаж. Я если использовать стакан цен, то входных серий может быть много . К тому же графические паттерны.

[Максим Припадчев]

Евгений Лернер,

Это всего лишь система нелинейных уравнений

А присутствие вариативности "шума". Мы же ищем вектор weights, который не решает систему, а МИНИМИЗИРУЕТ ошибку.

Сочетайте разные входные последовательности. В чем проблема. Цена = a_1*X_1 + a_2*X_2 + ... + a_n*X_n.
где X1 например средняя скользящая с окном 7 дней, X2 средняя скользящая с окном 1 месяц, X_3 индекс настроений и т.д.

графические паттерны, ну так у нас есть все средства математического анализа, все что мы "видим" может быть сформулировано.

[Евгений Лернер]

Максим Припадчев, я на правом этапе буду использовать известные методы. Все равно их надо обучать и переобучать. Сеть может оказаться удобнее. Интересно что сетями начали больше интересоваться, когда она оказалась лучше для распознавания речи. хотя были уже эффективные алгориьы. Это меня сильно удивило

[Максим Припадчев]

Евгений Лернер, Я не говорю, что сеть нельзя использовать, можно. Это дело выбора, если хочется, то почему нет. Я лично скептично отношусь к не интерпретируемым моделям, из-за отсутствия возможности формулировать отношения между входными параметрами по отдельности и целью.

Потому что это создает дополнительный слой ценной аналитики. А так это дело добровольное.

Насчет популярности сетей - ну мое мнение это все маркетинг. Вес финансовых основ в ценообразовании крайне низок, а вот что называется вес хайпа очень высок. По этому компаниям не важна операционная прибыль им надо мы супер-пупер ИИ и все такое.

[Евгений Лернер]

Максим Припадчев, я сам скептически относился к сетям, никакого интеллекта у них нет. Они сейчас реально эффективнее за счёт большого количества нейронов и глубокого обучения. Настало время ими заняться. А в финансовой сфере попробовали уже все, задачка на миллиард баксов. Простых решений нет

[Евгений Лернер]

Максим Припадчев, спасибо за полезные советы

Answer 2

[dmshar]

По определению, нейросети для прогнозирования временных рядов - это RNN и их развитие LSTM. Ну и всякие дальнейшие производные от них.
Но вообще-то, прежде чем кидаться в нейросети для прогнозирования временных рядов обычно пробуют оружие поспокойнее - модели Брауна, Хольте-Винтерса, регрессионные методы выделения трендов, ARIMA, SARIMA и пр. А иногда и обычное скользящее сглаживание вполне нормально работает.

Comments

[Евгений Лернер]

Использую iir fir walsh haar. Хочу попробовать сети, особенно прогнозирование многомерных рядов

[Евгений Лернер]

Я в 77 писал диплом где сравнивал разные адаптивные методы прогнозирования сигнала помехи. Все они примерно одинаковые

[dmshar]

Евгений Лернер, .... и современные сети не всегда выигрывают у них. Но в любом случае - попробовать стоит. Ключевое слово "LSTM".
P.S. Кстати, ,"через тернии к звездам" - т.е. от методов методов аппроксимации, сплайны, преобразования Фурье, фильтрацию сигналов, адаптационные методы прогнозирования к нейросетям - традиционный путь людей нашего поколения. Молодёжь стремиться начать сразу с нейросетей. На мой старческий взгляд - очень зря.

[Евгений Лернер]

dmshar, я начинал когда нейросетей не было. Обучение называлось адаптацией. Кричат об искусственном интеллекте. Не все понимают, что это всего лишь один из видов математической модели. Мы в 78 точно также обучали системы дифференциальных уравнений в частных производных. А вот методы обучения сейчас действительно очень развиты