Как хранить временные ряды?

Question

[Юрий Щекочихин]

Есть много источников данных. Можно сказать, что данные от них приходят в виде — <дата измерения, значение, атрибуты в виде мэпа>. Причем вот эти атрибуты меняются как от источника к источнику, так и от измерения к измерению.

Измерений много и их надо хранить и статистически обрабатывать.

Какую СУБД лучше выбрать?

Есть ли готовые сервисы?


UPD:

Как пример — хранить http запросы, показания датчика температуры, положение приложения в плей-марките.

Формат — ну путь хоть json. { 'timestamp': '', 'value':'', {… }}

UPD2: данных очень много.

Answer 1

[abir_valg]

Вот тут советуют СУБД объектно-реляционной модели.

Т.е. PostgreSQL .

Mongo посоветовали , потому , что есть масштабирование из коробки ?

А так сама задаюсь этим вопросом.

Answer 2

[Violetdrug]

Если данных очень много, то лучше использовать Mongo, она не тормазит при разростании.
Если в приделах разумного, то MySql

Для MySQL советую такую схему:
Каждая строка соответствует одному устройству, данные хранятся в полнотекстовом поле в виде
{ 'timestamp': '', 'value':'', {… }},{ 'timestamp': '', 'value':'', {… }},{ 'timestamp': '', 'value':'', {… }},…
Каждую запись добавляем коммендой

$query="INSERT INTO `bd`.`table` ( `json`,`keyid`) VALUES ("{ \"timestamp\": \"\", \"value\":'', {… }}', '".$keyid."')". " ON DUPLICATE KEY"." UPDATE `json` =CONCAT(`json`,',{ \"timestamp\": \"\", \"value\":'', {… }}'), keyid='".$keyid."'" ;

тем самым в поле будет дописываться очередное значение Json.

А когда будете запрашивать из базы

$res="{'hist':[".row['json']."]}"; $poll=json_decode($res);

$poll->hist — и будет сам набор данных

Если нужны будут комментарии, или что-то не будет из этого работать, пишите в личку, помогу.

Comments

[Юрий Щекочихин]

Так это получается, что все джейсоны от одного источника будут в одной ячейке? Так оно очень быстро упрется в размер ячейки, да и статистически это обрабатывать практически не возможно.
А про mongo можно подробнее?

[Violetdrug]

В MYSQL текстовый формат ячейки по сути резиновый(хотя может просто не довилось столкнуться с приделами), у меня так в некоторых полях до нескольких десятков мегобайт хранится. Тут приемущество в скорости обработки запроса.

А по Mongo db тут есть статья habrahabr.ru/post/74273/
В целом суть заключается в том, что данные уже хранятся в формате Json и вызываются либо по ключу(сымый быстрый способ), либо по условию. Единственно, если не работали с ней ранее, а использовали только SQL придется немного почитать, чтобы разобраться. Логика запросов не в корне, но отличается сильно.
Если решите использовать этот вариант, пишите в личку, помогу с логикой запросов.