Как предсказать следующее числовое значение по предыдущим?

Question

[justslipknot]

Имеется файл с несколькими тысячами дробных числовых значений (пример 1.02, 4.05, 2.13). Данные берутся с графика на одном сайте и постоянно пополняются. Есть ли какой-либо способ предсказать следующее значение n+1 по тысячам предыдущих, если данные ни к чему не привязаны. Только числа. В теме полный чайник, поэтому прошу строго не судить

Comments

[Ромзес Панагиотис]

А что на графике отображено? Курс валют или что-то в таком духе?

[justslipknot]

Ромзес Панагиотис, схожий с курсом валют, только опять же, нет привязки ко времени, числа генерятся каждые 15 секунд

[0010010test]

Ромзес Панагиотис, скорее это азартная игра, которая якобы генерирует коэффициенты. Люди ставят деньги на коэф чтобы выиграть)
Когда админ или бот видит что человек начал часто выигрывать, то скорее всего подкрутят дисперсию и чувачок сливает баблишко)))

[Ромзес Панагиотис]

justslipknot,
Короче, нужно окунуться в теорию стохастических процессов. Довольно занятная штука. Но это не для слабаков.
Маш. обучение не в тему.

Answer 1

[Wataru]

Есть целая наука об этом. "Временные ряды", вроде, называется. Там есть куча всяких моделей, типа ARIMA.

Comments

[longclaps]

Почитай коменты к моему ответу и попробуй придумать, что же может крыться за "секретным графиком на сайте". Неужто статистика смертности от ковида? Вроде нет, пятисот дней не набралось, а там - тыщи чисел. Теряюсь в догадках.

[Wataru]

longclaps, Да какая разница, что там кроется? Так хоть автор вопроса почитает умные книжки. Ну, наткнется он на область применения и допущения моделей, побалуется с примерами и поймет, что условный курс чего-то на форексе не вписывается в допущения модели. Это что-то плохое?

[longclaps]

Wataru, я одну историю до сих пор вспоминаю: пришел чувак с конкретной задачей. Мотивированый, упрямый, способный самостоятельно мыслить. Очень он хотел получить именно формулу. Часа три я с ним бодался, и он признавал, что это правдоподобное решение. Оставалось всего немного: взять решение в виде дроби и факторизовать числитель и знаменатель. Знаменатель гладкий, а числитель страшный. Ну не выдумать из головы формулу такого числителя, только насчитать. Следущим шагом было бы посчитать вручную расклад на маленькой доске, типа 3х3, король, 2 ладьи и ничего больше, чтоб продемонстрировать, что там тоже стрёмный числитель (наверное). Было прикольно с ним бодаться. Соскочил он.
Когда я не вижу у вопрошающего ни одного из качеств того чувака, я знаю, что он - без шансов. И компромисный ответ про временные ряды приведёт к компомисному же результату - плюсик поставит, умных книжек не почитает.

[Griboks]

+1 за ARIMA - самый простой и качественный алгоритм прогнозирования, в питоне так вообще одной строкой работает.

Answer 2

[uvelichitel]

В аналитической математике (без машинного обучения), если полагать данные не стохастическими, для апроксимации/интерполяции применяются

• полином Лагранжа
  
• полином Ньютона
  
• дискретное преобразование Фурье
  
• вейвлет преобразование
  

Если данные - результат работы генератора случайных чисел, то задача сводится к поиску его уязвимости. Идеальных ГСЧ не бывает. Например зная тип ГСЧ, можно попробовать подбирать его посев и коэффициенты.

Comments

[longclaps]

О сколько нам открытий чудных...

[uvelichitel]

Нейронные сети и машинное обучение - тоже математика, но применяемые там методы скорее бихевиористские, статистические чем аналитические. Вот что примерно я имел в виду. Но вы правы, сформулировал криво.

Answer 3

[longclaps]

Ты хочешь знать, можно ли предсказывать выигрышные номера в спортлото?
Можно. Но не тебе. И то, что у тебя floating числа, ничего не меняет.

Comments

[justslipknot]

Никакое не спортлото, господи. Сути не меняет откуда числа. Мне нужен ответ. И что значит "можно но не тебе"

[longclaps]

А ты упрямый, justslipknot : "Мне нужен ответ". Тебе нужен иной ответ, чем тот, что уже дан? Пожалуйста: можно. Нужно просто стать ясновидящим. Или инсайдером. Вот им - можно.

[N]

longclaps, Вообще-то автор нормальный вопрос задал...одно из направлений, например, предсказывать статистику посещений на основе предыдущих значений. Графики, например, прогноза строить...какие нафиг лото и т.п.???

[longclaps]

Q:

...если данные ни к чему не привязаны. Только числа.

N, A:

...например, предсказывать статистику посещений на основе предыдущих значений.

Учимся отвечать на писаные вопросы, а не на свои домыслы.

[N]

Лентюй, Это уже другой вопрос, что ему "открывать"))
Точнее это даже часть ответа на его текущий вопрос...
А сразу писать (как некоторые) типа "это не твоего ума дело"...какая-то дискриминация получается))

[N]

longclaps, Ну и сам понял что процитировал?
Данные статистики в простом виде - это числа...прикинь? Если на них поглядеть, то они ни к чему не привязаны...посещения могут "прыгать" по разным причинам...но у тебя есть массив чисел за какой-то период например...вот на основе его и можно обучить нейронку...

И не надо привязываться к статистике...это банальный пример был...каких ещё куча может быть...

[longclaps]

N, мы живём в непростом мире, но некоторые его законы нам известны и понятны. Например, ясно, что если бы такого рода предсказания были широко доступны - они бы беспрестанно обогащали неограниченный круг людей, но это очевидно не так. Они обогащают жуликов, шарлатанов, ясновидящих и инсайдеров.
Я не уверен, является это дискриминацией или чем-то иным, но я точно знаю, что не я устроил этот порядок вещей.

[longclaps]

Ну и сам понял что процитировал?

N, на этом завязываем.

[N]

longclaps, Я дальше в "философию" вступать не буду...я прогуливал этот предмет))
А по сути: гугли про ML и нейронные сети (в разных случаях применения)...и эта задача окажется решаемой...с погрешностью конечно, но не факт...зависит от DATA, которым будут обучать нейронку...

[N]

longclaps, P.S.: А вот и ответ:
https://ru.stackoverflow.com/questions/95184/%D0%9...

А "философия" конечно хороший предмет...не в нашем случае только...

[N]

Лентюй, Я то всегда готов учиться...а по сути задачи: в чем "мимо"?
Отмечены теги про алгоритмы...алгоритмы для этого существуют...нафига говорить, что "нифига не получится"...???
Я лишь только за это "зацепился", а не за "место самого здесь умного"...

[longclaps]

N, иногда оказывается, что продуктивный разговор невозможен в силу разных картин мира у собеседников. Например, вы, судя по всему, верите, что из любого набора чисел можно извлечь некую предсказательную информацию. Таких людей много, они составляют кормовую базу для казино и тотализаторов. Они живут своим азартом, верят в свою удачу (в вашем случае залог удачи в том, что вы знаете о существовании "ML и нейронных сетей".
Упущение в том, что вы не выдвигаете никакой гипотезы, кроме той, что "ML и нейронные сети" принесут вам решение.
Чтож, удачи.

[N]

longclaps, Ровно такой же ответ и Вам. Раз у Вас всё завязано на каких-то казино и тотализаторах...

Всем МИР.

Прощаемся :)

[Griboks]

longclaps, N, Лентюй, я бы хотел ворваться в вашу интереснейшую дискуссию и заметить, что существуют ещё такие понятия как "доверительная вероятность" и "доверительный интервал", которые как раз для такого класса задач и были введены. Таким образом, можно "наложить" любой закон на любой ряд, а затем просто взять наиболее правдоподобный.

[N]

Griboks, Я примерно это же и хотел донести...но "умных" слов не знаю...поэтому меня отправили "учиться" из этой дискуссии))

[longclaps]

N, не ври, ты сам ушел.
Griboks, с хабра упёр:

Наученный тяжким опытом разработки и сопровождения продакшена, бэкендер тщательно осмыслит следующий вопрос: "какую бизнес-задачу мы решаем?"
опытный эмбедер подходит к решению той же проблемы совершенно иным образом: не от целей, стоящих перед системой, а от средств их достижения.

Вот ты прискакал со своей шашечкой и ею машешь, а какую задачу ты решаешь? Можешь сформулировать какую-нибудь гипотезу о природе данных и предпосылки к ней?

[N]

longclaps, Я в первом же своём комментарии написал вектор своих мыслей:

...одно из направлений, например, предсказывать статистику посещений на основе предыдущих значений. Графики, например, прогноза строить...

А какая там у автора реальная бизнес-задача - он не написал...а лишь сказал:

Есть ли какой-либо способ предсказать следующее значение n+1 по тысячам предыдущих, если данные ни к чему не привязаны.

[Griboks]

longclaps, кстати, недавно читал это.

а какую задачу ты решаешь

Мы вроде как решаем задачу автора по прогнозированию абстрактного временного ряда. Или мы всё-таки пытаемся обыграть букмекеров?

Можешь сформулировать какую-нибудь гипотезу о природе данных и предпосылки к ней?

1. В природе нет случайных явлений, но есть недостаточно исследованные.
2. Автор чётко обозначил, что природа закона неизвестна.
3. Случайный закон - это модель природного явления, чья природа неизвестна или слишком сложна для решаемой задачи.
Следовательно, мы имеет дело со случайным временным рядом. А раз так, то можно смело применять теорию вероятности и прикладной статистический анализ. А дальше просто накидываем разнообразные законы и их комбинации. Ну и + никто не запрещает оценивать достоверность детерминированных законов.

[longclaps]

Griboks,

1. В природе нет случайных явлений, но есть недостаточно исследованные.

Ты - детерминист, возвращайся в свой 18й век

2. Автор чётко обозначил, что природа закона неизвестна.

Автор четко дал понять, что природа закона - не наше собачье дело. Имеет право

3. Случайный закон - это модель природного явления, чья природа неизвестна или слишком сложна для решаемой задачи.

см пункт 1

Смотри, вот я берусь исследовать какое-то природное явление, например приливы, с точки зрения статистики. При этом я исхожу из допущения, что приливам на меня плевать, и наёбывать меня они не будут. Всё, что я знаю о приливах, говорит мне об этом. А вот если бы я изучал пиратов, я бы допускал иное, что они могут менять своё поведение, подстраиваясь под меня, играть со мной.
Этот несколько натянутый образ должен натолкнуть тебя на мысль, что приливы могут в какой-то степени описываться статистически, а вот с пиратами мы заплываем в теорию игр. Иди, поищи там доверительные интервалы.

[Griboks]

longclaps, как мы можем заплыть в теорию игр, если пираты даже не подозревают о моём существовании? Всё-таки мы же на писаные вопросы, а не на свои домыслы отвечаем.

Автор четко дал понять, что природа закона - не наше собачье дело. Имеет право

Т.е. нельзя рассматривать ряд неизвестной природы как случайный?

С другой стороны, вероятностный подход имеет более высокую степень общности, чем игровой, поэтому его можно применить в любом случае, получив менее достоверные результаты.

Банальный пример: скользящее среднее и ср.кв.отклонение.

С третьей стороны, вопрос о предсказании, а не о исполнении этих предсказаний в реальности.

[longclaps]

Griboks, позднее автор заявил в комментариях, что график

схожий с курсом валют, только опять же, нет привязки ко времени, числа генерятся каждые 15 секунд

Что значит эта белиберда (в его изложении, возможно те парни не такие идиоты) - мне неинтересно. Но если интересно тебе - поддержи разговор с ним, может разузнаешь, как бабок срубить по-лёгкому.
Про степень общности - прости, не понял? А вот это что?

вопрос о предсказании, а не о исполнении этих предсказаний в реальности.

Нет, гадание на кофейной гуще вне моих интересов.

Answer 4

[Developer]

Да, вполне можно.
Гугли: "ML prediction"

Comments

[longclaps]

Гугли: "развод на деньги", форекс и тому подобное

Подателю таких советов - вопрос: сам-то много напредсказывал?

[Developer]

longclaps, ты так говоришь, будто это рокет сайенс какой-то.
Это обычная задачка по ML.
Как ты думаешь подсказки в клавиатуре и поиске работают? Ах да, ты же думаешь, что слова - это не числа.
Поменьше гонора, чувачок

Answer 5

[ComodoHacker]

Цепи Маркова, например.

Answer 6

[Александр Скуснов]

Excel (если у вас русская версия, я думаю, перевод нужной вкладки и опции найдёте)

Comments

[dmshar]

Отличный рисунок, утяну себе и буду показывать, что такое "прогноз по трем точкам на один тик вперед". Диапазон прогнозируемых значений от 0.5 до 6.25 при заданных значениях точек в диапазоне от 1 до 4. Главное потом понять, как и для чего таким прогнозом можно воспользоваться.

Answer 7

[Tamul]

А вас точно не устроит прогноз "через 15 секунд будет то же самое, что и сейчас"? Самый надёжный краткосрочный прогноз почти для всего. Правда бесполезный.