Как правильно вносить данные в БД?

Question

[click_f]

Есть необходимость подтягивать обновления из стороннего сервиса через REST-api и вносить их в локальную базу данных, другими словами просто актуализировать локальную БД в реальном времени.
К сожалению на стороннем сервисе отсутствует возможность "подписаться на обновления", но можно получать данные за определенный промежуток времени либо последние n записей.

Вопросы в следующем:
1. Какого паттерна следует придерживаться?
2. Это ведь очень идиотская идея: реализовать Watcher'a который будет постоянно слать запросы и проверять есть ли только что полученные данные в базе?
3. Какова главная идея решения подобных задач "Актуализации данных"? Чего следует не делать, а что напротив стоит?

Заранее очень благодарю за любый советы.

Comments

[Falseclock]

Рест апи случайно не 1с? А то я такое реализовывал уже.

[click_f]

Falseclock: нет, но уверен на 100%, что рано или поздно потребуется реализовать и для 1с. Буду очень благодарен за подсказки.

[Андрей Мывреник]

Данные из локальной БД потом запрашиваются тоже через какой API по HTTP?

[click_f]

Андрей Мывреник: да, все верно.

[Falseclock]

click_f: слишком много неизвестных, чтобы дать совет.

1. Какова актуальность данных? 1 секунда или можно потерпеть день другой?
2. Нужно ли эти данные моментально отображать или оперировать ими?
3. Сколько данных, их формат и структура.
4. Как правило у правильных сторонник API есть своя подписка на события. В вашем имеется?
5. Где и как хранятся данные? Можно ли мониторить изменения этих данных?

[click_f]

Falseclock: Понял, спасибо, поясню:
1. 3-5 секунд допустимо.
2. Да, есть необходимость оперативно предоставлять данные клиентам локального REST сервиса.
3. Сторонний API отправляет только текстовые данные в JSON, локально данные хранятся в памяти в виде hashmap'ов.
4. Мягко говоря, они вообще не реализовали подписки на события.
5. В настоящий момент я просто зациклил постоянную отправку запросов на данные, т.е небольшая часть актуальных данных хранится в памяти. Если клиент запрашивает данные, то я отправляю ему то, что уже есть в памяти. Да, очень тупо, лучше не придумал.

[Falseclock]

click_f: под пятым пунктом я имел в виду вдруг у REST интерфейса есть лог файл, куда он кладет информацию о работе... например пишет в лог, что добавлена запись. Можно пайпом открыть лог и мониторить

[click_f]

Falseclock: спасибо за комментарий, вы навели меня на мысль о том, что тут можно использовать Java Message Service

Answer 1

[Андрей Мывреник]

Так как локальные данные запрашиваются через свой API, то я бы это реализовал по похожему принципу, как работает кеширование. По запросу данных из вашего API, происходит проверка на то, как давно данные обновлялись. Если давно (регулировка времени на своё усмотрение), то происходит запрос на сторонний сервис и данные в локальном хранилище обновляются и сохраняется время последнего обновления. Минус этого подхода в том, что первый запрос в некий промежуток времени будет обрабатываться дольше из-за всех операций.

Если не критично, можно обновлять данные в локальном хранилище после обработки запроса, дав клиенту "устаревшие" данные, чтобы избежать этой паузы. Следующим запросом клиент уже получит актуальные данные, т.к. к этому моменту они скорее всего успеют обновиться.

Но для решения вашей проблемы нужно учитывать больше нюансов, это лишь общий ответ на основе информации в вопросе.

Answer 2

[Falseclock]

У меня был похожий случай.

1. Имеем веб морду.
2. Есть большая таблица, в которой куча табличных ячеек.
3. Необходимо на всех клиентских машинах отображать актуальные данные без перезагрузки страницы

Я сперва реализовал следующим образом:

1. Поднял WebSocket который слушали все клиенты.
2. Поднял демона, который опрашивал Rest и вытаскивал данные.
3. В случае новых данных демон сувал их в базу и через WebSocket отправлял широковещательное сообщение в виде JSON строки.
4. Со стороны клиента через JS вытаскивал данные с сокета и обновлял пользователю интерфейс.
5. Все пользователи имеют актуальные данные без перезагрузки страницы.

Как опрашивал Rest.
1. Создал табличку text + int.
2. В text хранил название таблицы интерфейса, в int - последний инкремент
3. Опрашивал с условием > int
4. Ложил в локальную базу.
5. Оповещал клиентов по WebSocket

Сечас немного по другому. В 1С есть подписка на события, при изменении или создании документа можно вызвать обработчика, в моем случае просто происходил HTTP запрос с передачей данных в post теле JSON сериализации.

В вашем случае, если не важно и не актуально, либо не возможно изменение документа - только такой вариант: постоянный опрос.