Какой алгоритм выгрузки данных с сервера лучше?

Question

[s7106500]

На сервере находится база данных с клиентами и информацией про них.
У менеджера компании есть софт, который подключается к БД и через сокеты сгружает все себе.

При подключении к серверу создается список для отправки, который делится на части (по 50 клиентов в сообщение) и с паузой в 1 секунду отправляется менджеру. Маленькие пакеты данных быстрее отправляются чем один большой.

Как вообще такая задача решается в больших проектах? Как лучше сгружать типовые данные с сервера чтоб все записи дошли?

Comments

[Everything_is_not_so_bad]

Когда менеджеру нужно перекачивать БД целиком - это какая-то глупость. Менеджеру нужны не сырые данные, а четкая и конкретная информация по набору фактов, на основании которых будут приниматься быстрые решения. Обычно это графики и таблицы.

[Владимир Коротенко]

Как синхронизировать базу данных между сервером (PostgreSQL) и клиентом (SQLite)?

Answer 1

[d-stream]

В больших проектах вот прямо такой задчи скорее всего не будет. Даже иногда обратные задачи возникают - "как не дать менеджеру украсть всю клиентскую базу")

А в остальном - в общем-то "все и сразу" несколько неестественно. Один из вариантов - репорты. То есть формирование отчета по нужному шаблону и критериям. Притом критерии могут быть разные - то "активные в этом месяце", то "уже полгода не покупающие", "накопленные суммы и среднемесячные объемы".

Ну и "большие" проекты - это в том числе и надежные каналы связи - то бишь даже если тянется десяток гигов - сбой - это чп

Comments

[s7106500]

Сам обмен данными происходит по запросу?

Запрос на сервер с правилами выборки
Ответ на запрос.

А что если в этом запросе 1000000 записей?

[d-stream]

s7106500,

Сам обмен данными происходит по запросу?

Например - да.

А что если в этом запросе 1000000 записей?

Это много? Номенклатурных единиц у MB - порядка 1.5 миллионов. Но в наличии на складе - на порядок меньше, был оборот за последний месяц - на два порядка меньше. А отгруженных конкретному контрагенту - десятки-сотни-тысячи. А в конкретном случае заинтересовать может на какую сумму была отгрузка в прошлом месяце контрагенту X и тогда это одно число.

И?

p.s. и да, единомоментно человек охватывает взглядом и удерживает в голове 5-9 (в среднем 7) сущностей

Answer 2

[Армянское Радио]

Смотря в каком виде они должны быть.
JSON -> 7z -> закачивание по HTTPS в несколько потоков с докачкой, как вариант.

Напрямую в Интернетик СУБД голым сокетом как правило не выставляют, наружу торчит API (c HTTPS, Cert-pinning и авторизацией по ключу), который и отдает нужное барахло, сжимая его в gz на лету.

Comments

[s7106500]

Но все равно в вашем варианте все данные приходят в одном сообщение?

[Армянское Радио]

s7106500, Эм. HTTP и (S) поддерживает докачку файлов. У вас что, модема на 28800 в детстве не было?

Формируем файл, давим его для надежности хорошей давилкой, потом качаем из кэша сколько хотим.

Answer 3

[Владимир Коротенко]

Репликация и дата киоски, в нормальных базах это есть прям из коробки. Причём можно тонко настроить что отсылать. И это все на уровне бд без костылей и работает всегда