Как правильно обработать большое количество данных полученных SOAP?

Question

[Konstantin Malyarov]

Есть проект на Django, который получает SOAP данные (zeep библиотека), переводит их в JSON (для удобной обработки во VueJS).
Но вот незадача, SOAP отправляет 212020 записей постранично, что превращает из одного запроса в 425 запросов.

Как итог, это превращается в целое мучение:
Axios отправляет запрос на сервер Raspberry Pi 3, который перенаправляет запрос на nsi.rosminzdrav.ru, который присылает данные обратно на Raspberry Pi 3, где они переводятся в JSON формат и отправляются обратно клиенту.
И вся эта процедура занимает от 6 до 12 часов. Как ускорить процесс (программно и аппаратно, по возможности с примерами или ссылками на документацию)?

Answer 1

[alternativshik]

425 запросов и 212к записей - это немного. Зачем их каждый раз все получать? Почему их нельзя получить только единожды и сохранить себе, а потом только получать последние записи - 1-2 страницы.
Ну и можно же отправлять параллельные запросы, получать разные страницы и сохранять их.
На основе скудного описания довольно сложно предложить что-то конкретное. В каком месте-то хоть оно тупит. Получение всех данных или их обработка - это ведь совершенно разные ситуации, требующие разных решений.

Comments

[Konstantin Malyarov]

Я думал об этом, но они каждый раз обновляют этот список (за месяц до 4 раз), как это приведет к тому что старые записи перестанут читаться.
Думал пока про кеширование и про добавлении новых записей при сравнении версий.
На моменте: Получение всех данных.

[sim3x]

Konstantin Malyarov, Вот и обновляйте их в бекграунде
Кешируйте
А клиенту отвечайте из своего кеша

[Konstantin Malyarov]

sim3x, 12 часов кэшировать?

[alternativshik]

Konstantin Malyarov, хранить данные локально, а обновлять раз в неделю\сутки в фоне.

[sim3x]

Konstantin Malyarov,
Я б хранил всю историю изменений

Частота парсинга - максимальная, так чтоб сервис не загнулся