Как оптимизировать задачу?

Question

[vitya_brodov]

Всем привет!

Задача: Необходимо достать из бд всех клиентов и проверить их на стороннем сервисе на наличие долга. Если есть долг, то отправить письмо клиенту.

Что сделано: кроном каждые 6 часов выдергиваю всех клиентов из бд и прогоняю их по одному на стороннем сервисе.

Проблема: На каждый запрос сторонний сервис отвечает 2 секунды, для обработки ~50к клиентов занимает 25 часов.

Вопрос: Была ли аналогичная проблема в вашей карьере?
Если да то прошу подсказать, Как можно это все оптимизировать с учетом что клиентская база каждый день может расти?

P.s Используемые технологии: Spring Data jpa + Postgresql

Comments

[d'Ivan]

кроном каждые 6 часов

занимает 25 часов

Выходит, в сутки работают по несколько неоконченных cron-задач?

[d'Ivan]

сторонний сервис отвечает 2 секунды

какой-то тормознутый сервис, однако. И всё поштучно обрабатывает? Ой-ой-ой.
Замените его своим, как вариант.

[vitya_brodov]

Román Mirilaczvili,

Выходит, в сутки работают по несколько неоконченных cron-задач?

нет, новый крон ждет пока старый свое не отработает (FIXDELAY)

какой-то тормознутый сервис, однако. И всё поштучно обрабатывает? Ой-ой-ой.

Обмен сообщение происходит через SOAP, вряд ли стронный компания будет это все переписывать ради меня)

[d'Ivan]

vitya_brodov,
Это что, какой-то незаменимый сервис? Что-то уникальное на рынке?

[vitya_brodov]

Román Mirilaczvili, да

[d'Ivan]

vitya_brodov, и каково решение в итоге?

[vitya_brodov]

Капитан Пронин, Запустил несколько экземпляров API, соблюдая изолированность транзакций чтобы несколько экземпляров не брали одну и тоже запись одновременно. Но сторонний сервис оценил мои попытки как DDOS и заблочил. Задача успешно перенесена в BACKLOG )

Answer 1

[Евгений]

Я сварщик ненастоящий, но вижу два пути:
- Отсылать на сервер данные массивом, а не поштучно.
- Отправлять штучные запросы параллельно.

Оба решения требуют чтения доков на этот сервис или разговора с местными инженерами. Так как первый может не поддерживаться, а второй может вас забанить за спам :)

Answer 2

[Армянское Радио]

В данном случае вопрос технически никак не "оптимизируем". Нужно общаться со сторонним сервисом на предмет пакетной обработки данных у них.

Comments

[d'Ivan]

В данном случае вопрос технически никак не "оптимизируем". Нужно общаться со сторонним сервисом на предмет пакетной обработки данных у них.

пакетная обработка и есть техническое решение, при условии что поддерживается.

Answer 3

[Игорь]

Я бы еще уточнил по бизнес-процессу, а действительно ли надо каждые 6 часов дергать всех клиентов и запрашивать по ним, как вариант, можно пойти таким путем:
- Первично дергаем всех клиентов (50к) и проверяем на долг.
- Далее каждые 6 часов запросом дергаем только тех клиентов, по которым были взаиморасчеты. (ведь в базе могут быть клиенты, с которым взаиморасчеты уже 5 лет никто не вёл, они исторически там лежат, зачем по ним каждый раз запрашивать)

Answer 4

[Дмитрий Б]

Можно попробовать вынести в очередь (RabbitMQ например, обрабатывать каждого клиента отдельной задачей в очереди) и выполнять задачи несколькими воркерами, то есть параллельно. Единственное, важно что бы вас не забанил сторонний сервис и вы не положили его нагрузкой. Что бы регулировать нагрузку, нужно менять количество воркеров обрабатывающих поступающие задачи

Answer 5

[Орхан Гасанлы]

Может быть есть смысл подключить spring batch или spring quartz? И обрабатывать параллельно

Comments

[vitya_brodov]

не совсем знаком с quartz, но не будет ли там конфликтов задач (например когда несколько задач работают с одним и тем же записем ) ?

[Орхан Гасанлы]

vitya_brodov, вполне могут быть