Как рассчитать экспоненциальное скользящее среднее с учётом различных по длине временных интервалов?

Question

[yggthris]

я хочу рассчитать экспоненциальное скользящее среднее по следующей формуле


но у меня нет всех данных, у меня есть только некоторые данные с большим разрывом во времени.

например timestamps=[43439, 43628, 43753, 43974, 44136] для data=[5, 4, 4, 5, 5]

я использовал стандартное значение для сглаживания - α = 2 / (n + 1)

но из-за неравных интервалов мне кажется, что это неправильно.

я читал про обработку неполных временных рядов - заполнение средним, интерполяция и так далее, но не знаю, стоит ли ими пользоваться - интервалы времени действительно очень большие, и данные зависят не только от времени.

я видел этот вопрос, но я не понимаю, как получить α аналогичным образом для моего случая

Answer 1

[Максим Припадчев]

Без заполнения отсутствующих данных решения нет и быть не может. Экспоненциальное скользящее среднее дает меньше и меньше веса для данных которые отдалены по времени и соответствено большие веса для последних дат (в пределах окна). То есть это всего лишь один из методов нахождение среднего с весами для каждой точки данных.

Вы собираетесь решать задачу где вы не можете сформировать окна по причине отсутствия данных, это бесполезно, вы должны заполнить эти данные.

я читал про обработку неполных временных рядов - заполнение средним, интерполяция и так далее, но не знаю, стоит ли ими пользоваться - интервалы времени действительно очень большие, и данные зависят не только от времени.

Вот здесь вы дело говорите. Неполные временные ряды заполняют, средними или медианным в зависимости от дистрибуции, иногда ближайшими значениями (в вашем случае слабо верится это имеет смысл), экстраполируют (тоже специфический кейс слабо верится это имеет смысл).

Все остальное вы верно делаете стандартный слаживающий фактор все так, затем он будет использован для подсчета каждого индивидуального веса w_i = (1 - alpha)^i для каждой ваше точки данных в пределах окна. Просто вы ищете математического решения там где его нет, это вопрос как правильно заполнить недостающие данные.

Comments

[yggthris]

боюсь, что средние или медианные значения, вычисляемые по всей последовательности, могут идти против логики того, что мне нужно реализовать, поскольку из-за этого в значениях могут быть некоторые скачки, да и это не будет учитывать различных по длине временных интервалов.
пока думаю насчёт линейного уравнения тренда, на первом примере сработало хорошо.

[Максим Припадчев]

ajdivot,

учитывать различных по длине временных интервалов.

Вы понимаете что такое оконная функция?

давайте для простоты скажем вот наши данные [100,110,107,120,105] пусть это стоимость чего нибудь. Мы говорим применим скользящую среднюю с окном в 2. Что это значит это значит мы смотрим от каждой точки мы берем 2 последние (включая текущую) и тупо считаем среднюю и так двигаемся (скользим) вправо. Имеем для 100 у нас нету двух точек, для 110 мы имеем (100 + 110) / 2 = 105 и.тд скользим вправо.

Для экспонентного средней скользящей принцип тот же самый просто каждый раз значения что ближе будут иметь больше веса. Вот для простой средней какие у нас веса при расчете были w_i = 1. Для простой при подсчете мы могли записать (1 * 100 + 1 * 110) / 2. Для экспонентной средней скользящей вместо единиц будут посчитаны веса. Cначала alpha как у вас потом w_i, как я указал. То есть для нашего игрушечного примера будет (w_1 * 100 + w_2*110) / 2.

Теперь вы утверждаете про разный размер ваших временных интервалах, в рамках вопроса EMA это невозможно потому что окно у него всего одного размера.

В рамках моделирования никаких проблем для построения модели где у вас есть разные временные промежутки нет, от слова совсем. Например как выглядят некоторые модели для предсказания цены акции

Цена = a * EMA(окно=15 дней) + b * EMA(окно=30 дней) + c * EMA(окно 3 месяца) + ...  константа

Ну это вопрос не отдельный EMA а про моделирование где мы можем иметь свободы столько сколько требуется. Одно EMA имеет ОДИН размер.

Вот если мы возьмем и загуглим из мира финансов нам скажет для инвестиций на короткие дистанции трейдеры используют 8 и 20 дней EMA. Это не одна переменная EMA и за 8 и за 20 дней а две переменные EMA. одна будет 8 дней EMA а вторая 20 дней EMA.

[yggthris]

Максим Припадчев, я понимаю, что EMA должно иметь один размер окна, у меня в принципе про то и есть - нужно окно за условные 8 дней, но данные есть только за один. поэтому я думаю с помощью уравнения тренда заполнить недостающие значения за условные 7 дней, при этом учитывая условный 9 день, чтобы не было резкого скачка из значений 1 дня в 9.
или я чего-то не понимаю?

[Максим Припадчев]

ajdivot, Ну уже хотя бы вы произнесли слово ЗАПОЛНИТЬ это то про что я вам и написал в ответе если вы его внимательно читали, что данная задача это задача заполнения данных.

Теперь к вопросу что значит у вас нет данных за предыдущие семь дней?

У вас должен быть вектор определенной длинны, и внутри этого вектора определенные даты пропущены, тогда мы их можем заполнить (Ну если вы верно осуществили декомпозицию, убрали сезонность, убрали шум, то можно использовать в том числе и тренд для заполнения только не один на всю последовательность по началу будет не плохо чем ближе к дню сегодняшнему тем больше он будет улетать в небеса или стремится к нулю) Если конечно же данных не мало.

Что подается на вход сколько у вас наблюдений? Каким образом распределены пропущенные данные? И какой процент этих самых пропущенных данных?

Answer 2

[mayton2019]

Вот подумалось что для того чтоб расчитать экспоненциальное скользящее среднее c gaps нужно все равно расчитать какое-то скользящее среднее.

Рекурсия получается.