Как построить обучаюший набор данных для обработки процесса?

Question

[Евгений Лернер]

Здравствуйте! Есть сигнал. Как лучше выбрать обучающий набор из него?
1 Взять участок сигнала
2 Фиксированную часть отсчетов сигнала отнести к обучающий
3 Относить отсчет сигнала к обучающему с определенной вероятностью

Comments

[rPman]

что целью то является?

нейронная сеть 'умная штука', даже если ей скармливать весь поток на интервале в качестве входа, она разберется,.. беда в том что размер сети и время (деньги) на ее обучение (сходимость) может оказаться неадекватно высокими, поэтому придется поработать за нее самому, выделяя из потока данных какие то критерии и уже их скармливать сети

[Евгений Лернер]

если скармливать весь поток то будет переобучение и толку не будет. надо обучать сеть на одном наборе данных а тестировать на другом. это стандарт. вопрос как лучше выбрать обучающий набор

Answer 1

[dmshar]

Ответить на вопрос, не зная цели которая поставлена в исследовании, невозможно.
Ну например - "Относить отсчет сигнала к обучающему с определенной вероятностью" - можно это делать или нет зависит от того, зависит-ли ваш "сигнал" от времени, т.е. это временнОй ряд, или просто произвольные измерения некоего параметра, например, получаемые от разных объектов?
"Фиксированную часть отсчетов сигнала отнести к обучающий" - опять-таки, для чего и какая у вас природа данных. И что значит "фиксированный" - в виде некоего числа? Или в виде процента от общего числа? И вообще, для обучения нейросети вы ее обучать собрались по единственному "сигналу", или вы наснимали этих сигналов (наборов данных) много и хотите часть из них использовать для обучения, а другую для тестирования?
"Взять участок сигнала" - а это как-то отличается от "взять фиксированную часть отсчетов"?
В общем без понимания задачи давать вам совет - это как врачу советовать как лечиться по телефону - как минимум непрофессионально, а часто и просто может нанести вред (в вашем случае - заставить вас в пустую потратить свои ресурсы, используя некорректные методики).

Comments

[Евгений Лернер]

это временной ряд, биржевые котировки.

[dmshar]

О.... тихонечко отползаю в сторонку.
В сети присутствует десятки если не сотни статей о методах, в которых авторы занимаются попытками предсказания на бирже. Ни один из авторов, на сколько мне известно, миллионером еще не стал. Дело в том, что временные ряды биржевых котировок скорее всего представляет собой т.н. вероятностный процесс броуновскго типа, или "коричневый шум" . А делать предсказания в моделях таких рядов теоретически невозможно.
Если же отвлечься от биржи, то для временных рядов у вас нет возможности "случайным образом" отбирать образцы данных. Все что вы можете сделать - брать некоторую последовательность значений, учить на ней модель (от скользящего или экспоненциального среднего, ARIMA, SARIMA, GARCH до нейросетей типа LSTM или Prophet). А потом пытаться предсказать несколько последующих по времени значений, выступающих в роли тестовой выборки. И смотреть, на сколько хороша ваша модель и соответтсвтующим образом корректировать его. "Закона" который говорит, сколько значений брать в качестве обучающей последовательности, а сколько - в качестве тестовой, не существует. Все определяется используемой моделью, опытом исследователя и имеющимися данными.

[Евгений Лернер]

dmshar, 1 процесс коррелированный. исполбзуют разные методы, в том числе скрытые марковские цепи и нейронные сети. многие стали миллиардерами. но это конечно не просто. rusforexclub.com/articles/18-algo-trading/106-rene... это самые известные и богатые. а вообще сейчас на бирже половину операций соверщают роботы
2 выбирать отрезки для обучения это ясно. но могу ли я например каждый второй отсчет использовать для обучения, а ткстировать на других отсчетах?

[dmshar]

но могу ли я например каждый второй отсчет использовать для обучения, а ткстировать на других отсчетах? - это как? На одном отсчете строить модель, на втором - ее тестировать? Или взять (например) четные отсчеты, на них учить, а тестировать - не нечетных? Впрочем - в обоих случаях ответ один - нет, так делать нельзя.

[Евгений Лернер]

почему нельзя? переобучение это просто подстройка модели под данные. если я модель подстрою под нечетные отсчеты она не обязательно будет оптимальной для четных. конечно выбрать отрезок , обучить, а проверять на другом отрезке это не проблема. но сигнал нестационарный, мне кажется лучще чттобы обучающая итестовая последовательность совпадали по времени

[dmshar]

Никак нет. Во временных рядах очень важна последовательность значений в соответствии со временем их наступления. Это БАЗОВОЕ определение временного ряда. Поэтому если то, что вы изучаете - просто статические сигналы, никак между собой не связанные - например, выглядят так [2,6,3,5,4,1...] - можете выбирать в учебную выборку кого хотите, хоть чет-нечет, хоть случайным образом. А вот если речь идет о временных рядах - это не так. Сравните хоть тренды, хоть коэффициенты автокорреляции, хоть любые другие характеристики приведенного ряда, построенные по четным и нечетным значениям.
Фраза про "совпадение по времени" - вообще какая-то загадочная. Задача прогнозирования как раз и состоит в том, что-бы по данным прошлого предсказать предполагаемые значения данных в будущем. А вы по сути хотите научить свою модель заполнять пропуски в данных. Это как бы совершенно разные задачи.
Ну, а "переобучение" к данному вопросу вообще никакого отношения не имеет, уж извините.

[Евгений Лернер]

статистические характеристики четных и инечетных отсчетов одинаковы. верно, учим прелсказывать промежуточные значения. тогда и будующие на коротких интрвалах предсказывать будет. дело как раз в переобучении, обучающий и тестовый набор данных разделять необходимо. спасибо

[dmshar]

ТЕОЕТИЧЕСКИ нельзя сначала "дополнить" пропущенные значение, а потом по такой "дополненной" выборке предсказывать. Вернее можно, но точность предсказания будет катастрофически низкой.
Впрочем, для данных финансовых рынков это ВСЕ не имеет никакого значения.

[Евгений Лернер]

когда вы написали что у четных и нечетных отсчетов разные статистические характеристики уже все стало ясно

[dmshar]

А покажите, где именно я это написал?
К сожалению, вы так и не поняли, о чем я писал. А писал я не про то, что у них разные характеристики, Я писал про то что удаляя элементы из "середины" ряда или замещая пропущенные элементы по некоторому алгоритму вы по сути меняете характеристики изучаемого ряда. А что до разных статистических характеристик, то да у нестационарных рядов характеристики их различных фрагментов могут различаться. Более того, у ряда с авторегрессионным коэффициентом большим 1 так может быть и на разных подмножествах отсчетов.
Впрочем, каждый сам набивает свои шишки.
Удачи.

[Евгений Лернер]

чушь. если я выбираю четные и нечентные отсчеты характристики не меняются. также если я выбираю случайным образоь

[dmshar]

Евгений Лернер,
Из временного ряда?
Возьмем стационарный ВРЕМЕННОЙ ряд.
a=[1,0,1,1,3,2,2,0,3,1,3,1,1,2,1,2,3,0,2,2,1,1,3,0]
Известно, что лучший способ предсказания в стационарных рядах - по среднему (ну, и дисперсии, если что).
Найдите, ну хотя-бы среднее этого ряда и его подрядов, построенных по четным и нечетным значениям.
Потом еще раз скажите, меняются или нет характеристики ряда, а соответственно, можно или нет вот так выбирать данные для прогноза. Ну и что там с "чушью"?
Про то, как могут поменяться автокорреляционные коэффициенты - я даже не буду тут говорить. Или дисперсия. Да любой показатель. И это - в стационарных рядах. Для нестационарных рядов - картина еще более удручающая.
Вообще-то, это все написано в любом учебнике по временным рядам. Если вы не склонны этому верить и вам неочевидны эти различия временного РЯДА от произвольного набора данных - можете и дальше это считать чушью. Когда проверите это на ставках, рискнув собственными деньгами - не говорите, что вас не предупреждали.
Удачи.

[Евгений Лернер]

Известно, что лучший способ предсказания в стационарных рядах - по среднему - детский сад, младшая группа

[dmshar]

Евгений Лернер, Ну пожалуйста, откройте учебник. Прочитайте. Потом поговорим. Вы думаете я не знаю, что надо убирать тренд и сезонность? Думаете, я не знаю, что такое ARIMA, модель Брауна-Хольта-Винтерса? Что такое LSTM нейросети? Как прогнозируются временные ряды? Как выявляются change points, структурные изменения в рядах? Что такое переобучение, и с чем оно связано? И как модель проверяется путем валидации и кросс валидации?

Я вам привел пример элементарнейшего стационарного ряда. Попросил вас просчитать его элементарнейший показатель по четным и нечетным замерам. Показать результаты, потом еще раз сказать, что это "чушь". Или не сказать. Понять, почему так происходит на элементарном показателе и подумать, что будет происходить с более сложными. Для меня это очевидно. И не потому, что я такой умный. Просто потому, что я это вычитал в книгах, а потом десятки если не сотни раз имел возможность в этом убедиться на задачах из реальной жизни.

А вам - могу только посоветовать все таки разобраться что такое временной ряд и чем он отличается от статического набора данных. И почему методы валидации, придуманные для статических наборов нельзя непосредственно переносить на исследования временных рядов.

Но не хотите - не надо. Дело (и деньги) то ваши.