Как проредить значения в PostgreSQL?

Question

[GLaDosSystem]

Здравствуйте.
У меня в базе данных есть большое количество строчек, содержащих колонку с числом (>10000000).
Мне нужно все эти данные каким-то обработать на стороне сервера таким образом, чтобы получить фиксированное количество строк, в которых колонка с числом будет усреднена. При этом, если число в одной из строк резко возрастёт, неплохо было бы, чтобы оно повлияло на усреднённое значение. Как это сделать?

Comments

[rPman]

в которых колонка с числом будет усреднена

что это

[GLaDosSystem]

rPman, допустим, у меня есть 1000 чисел. Я хочу уменьшить их количество до 10, методом вычисления среднего арифметического каждых 100 чисел. Вот мне нужно что-то типа среднего арифметического, только

При этом, если число в одной из строк резко возрастёт, неплохо было бы, чтобы оно повлияло на усреднённое значение

[rPman]

Понятнее не стало.

Вам нужно получить представление о числах, которые у вас в таблице, и вы хотите исключить из нее значения, которые 'похожи' на другие?

дайте вырожденный пример, особенно про выделяющиеся числа

[GLaDosSystem]

rPman, у меня есть 100000 чисел. Допустим, что я хочу как-то изобразить эти числа на графике. Рисовать все 1000000 чисел на графике не надо, так как они всё равно на экран не поместятся. Надо, допустим, из этого 1000000 взять 100 чисел, которые уже можно нарисовать на графике. При этом хотелось бы, чтобы на графике было видно, если какое-то число резко повысится

[rPman]

Вы поставили задачу себе неправильно.

Группируйте значения по времени и рисуйте не одинокую линию а min+max (потому что одна линия не покажет величину расхождения между ними).

Например, исторически для графика цен используют свечи, которые строятся из min/max для определения высоты и положения вертикальной тонкой полосы, а open/close - для широкой, цвет второй зависит от того, что больше open или close.

Таким образом, даже используя большие временные интервалы, вы будете получать максимум информации, отследите что был резкий кратковременный скачок (будет высокой тонкая полоса), или сильное движение (open/close будут близкими или равны) или наоборот слабая волатильность и тогда свечки станут маленькими, их площадь будет меньше и взгляд будет видеть это.

Answer 1

[Everything_is_not_so_bad]

Нужно гуглить по SQL moving-average
https://stackoverflow.com/questions/13818524/movin...
А после получения усредненных значений можно выбрать каждое N-е значение в другую таблицу.

Если речь о метриках, то наверно, проще было бы использовать TimescaleDB.

An open-source time-series SQL database optimized for fast ingest and complex queries. Packaged as a PostgreSQL extension.