Как синхронизировать большой объем данных?

Bitrix24, коробка. Пишу модуль для сбора информации у клиентов что бы потом отправлять на обработку на сторонний сервис.
Проблема:
Объем данных, около 40 млн записей.
Я пытаюсь это отправить на сторонний сервис в виде json. Путем экспериментов стало понятно что легче всего отправлять файлы частями по 8мб (сторонний сервис позволяет так делать).
Но сталкиваюсь с ограничением времени исполнения скрипта.
Пока пришла в голову идея:
Написать скрипт, поставить его на агент(крон битрикса) и в этом скрипте:
-забирать часть файлов
-записывать последний id из этого куска файлов в таблицу
-отправлять
и так по кругу пока все не отправится.

Вопрос:
Есть ли у кого идеи как это сделать проще и быстрее?
P.s. set_time_limit нельзя трогать т.к. этот код будет исполняться у клиента + все скрипты запускаются агентами битрикс
  • Вопрос задан
  • 90 просмотров
Пригласить эксперта
Ответы на вопрос 1
gromdron
@gromdron Куратор тега Битрикс24
Работаю с Bitrix24
Есть пара вариантов как это сделать:
- Stepper (вид агентов, о котором вы писали)
- cron-файл.

Нет ничего зазорного чтобы специализированную задачу, для решения которой подходит cron-файл/cron-скрипт выполнять именно таким способом.
Более того:
- В коробке может быть настроено выполнение агентов на кроне, что решает часть вашей проблемы
- Битрикс в определенных подсистемах (например открытые линии) сам рекомендует дополнительно настраивать cron-задания
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы