Как правильно сделать обработку и добавление в базу?

Question

[elenapetrova1995]

Всем привет!
Есть задача раз в сутки подключаться по АПИ к определенному сервису и получить от него json который надо обработать и добавить в базу. Учитывая что данных много выполнятся все это будет долго.

Как будет правильнее все это сделать чтобы сервер не упал допустим?

Comments

[Дмитрий]

Записать json в файл, поставить крон, разобрать и записать пачками

[elenapetrova1995]

Данная задача и так в кроне выполняется. Получается крон вызывает другой крон?)

[FanatPHP]

А вопрос-то в чем?
Сервер уже падает? Нет? Тогда откуда уверенность что упадёт? Да? Как конкретно падает, с какой ошибкой?
Вопрос "как правильно"? Тогда к чему конкретно он относится - к "раз в сутки", "подключаться к апи", "получить джейсон", "обработать" или "добавить в базу"? В ответ на какие из них мы получим "а у меня и так уже это есть, теперь по два раза что ли делать"?

Вопросы системы "пойди туда не знаю куда" редко встречают понимание, в первую очередь со стороны администрации.

Answer 1

[Антон Шаманов]

разбить задачу на несколько простых и выполнять поэтапно:
1. загрузка данных
2. парсинг и формирование промежуточных данных
3. загрузка в базу
нужно создать скрипт очереди задач запускаемый через cron.
если задача формируется пользователем, то можно сделать аналогично - "долгий" контроллер запускаемый через ajax

Answer 2

[netrox]

Например: cron + Laravel