Как лучше производить синхронизацию с сервером при нестабильном интернете?

Question

[Даниил]

Есть 40-50 устройств, каждое из которых генерирует 3-7к записей в день.
Нужно сохранить все эти данные в БД на сервере, но у устройств невсегда есть стабильный интернет.
При этом устройству для работы необходимо около 1к записей с сервера (они могут изредка добавляться и изменяться).

На сервере хочу использовать postgresql. На устройствах можно тоже использовать postgresql или что то попроще (sqlite) и при появлении интернета синхронизировать их. При этом на устройствах сгенерированные данные после синхронизации хранить не нужно.
Как лучше это реализовать и что можно почитать на эту тему?

Comments

[sim3x]

Что за устройства?

[Даниил]

sim3x, компы с подключенными датчиками

[sim3x]

Даниил, ОС на удаленных машинах?

[Даниил]

sim3x, убунта

[sim3x]

Даниил,
Я б ложил данные с датчиков в логи (я предпочитаю просто текст)
И собирал их по ssh
А постобработку и как запихивать их в БД уже дело техники

Как вариант
https://www.digitalocean.com/community/tutorials/h...
https://www.loggly.com/ultimate-guide/linux-loggin...

[Everything_is_not_so_bad]

sim3x,

Я б ложил данные с датчиков в логи (я предпочитаю просто текст)
И собирал их по ssh

да ну?

[sim3x]

Роман Мирр, ?

[Everything_is_not_so_bad]

sim3x, это очень необычное решение для такой задачи.

[sim3x]

Роман Мирр,
KISS

[Everything_is_not_so_bad]

Даниил, момент, а что из себя представляют эти записи: метрики для мониторинга или неструктурированные данные?
Для мониторинга метрик есть другие решения.
Должна ли присутствовать какая-то логика на стороне клиентов? Или они должны лишь периодически отправлять данные на сервер?

[Даниил]

Роман Мирр, клиенты в идеале должны постоянно отправлять данные, но интернет может отвалиться и нужно, чтобы он продолжил работать и при возможности скинул все данные на сервер.

Логика есть, она завязанна на конфигурациях которые редактируются через основной сервер. Эти данные обновляются не часто. Логики связанной с генерируемыми данными нет.

Самих данных немного. Дата, значение, айди клиента, айди параметра из конфигурации.

[Everything_is_not_so_bad]

Даниил,

клиенты в идеале должны постоянно отправлять данные

"постоянно" не бывает. Это называется периодически, с заданной частотой. Может быть с периодичностью раз в день, а может быть и с периодичностью 10мс. От частоты зависит объем отправляемых данных. То есть их может быть считанные байты или много Мб/с.
Если я верно понял, необходимо периодически отправлять на сервер это:

Дата, значение, айди клиента, айди параметра из конфигурации

[Даниил]

Роман Мирр,

Если я верно понял, необходимо периодически отправлять на сервер это:

Да. И периодически проверять сервер на наличие обновлений в конфигурациях.

Answer 1

[Everything_is_not_so_bad]

Apache CouchDB позволяет автоматически синхронизировать между локальными инстансами у клиентов и инстансом сервера. Также позволяет работать в режиме оффлайн между сеансам обмена.

UPD
После получения дополнительной информации могу предложить другое решение.
На сервере хранить дату последнего сеанса синхронизации клиента.
Клиент должен хранить у себя таблицу с данными в колонках:

Дата, значение, айди клиента, айди параметра из конфигурации

Как только по таймеру пришло время отправлять данные, проверяем накопились ли данные в таблице. Выбираем X первых записей (допустим, 1000) и асинхронно пробуем отправить их на сервер. Если успешно, то удаляем из таблицы записи с выбранными ID. Если нет, то при следующей попытке согласно работе таймера отправляем данные с накопившимися изменениями.
В другом потоке, как только появились новые данные от датчиков, выполняем INSERT в таблицу.

Answer 2

[rPman]

Нестабильный интернет бывает разным, но в общем случае решается прослойкой между клиентами и базой данных (обычное дело, да и ради повышения безопасности, в мир базу данных не открывают), время сейчас такое что наилучшее решение - http/https. В этом случае база данных может быть абсолютно любой, хоть текстовый лог хоть oracle.

При этом, если используется прослойка, вы можете организовывать репликацию и синхранизацию с несколькими вашими серверами самостоятельно, иногда это даже удобнее и проще чем городить штатную репликацию баз данных, особенно если интернет нестабильный. Т.е. при получении данных от устройств вы отправляете два/много запросов на ваши сервера (асинхронно само собой) и ждете отведенный таймаут (по которому отключаете сбойный сервер из списка и выдаете алерт) после чего отвечаете ок. При возврате в строй сервера, на него заливаются данные с рабочих (лог или поле со временем, если данные не удаляются).