При работе одного скрипта ложиться весь сайт, как сделать правильно?

Question

[generate]

Есть скрипт он парсит большой json оттуда берет картинки загружает на сервер, остальные поля добавляет в базу. В одном json больше ста объектов, когда запускаю скрипт он долго обрабатывается потому что там много информации. Но при этом весь сайт перестает работать. Как решить эту проблему ? по одному не вариант.

Comments

[Александр]

Не уж-то скрипт через веб сервер запускается?

[generate]

Александр, Через браузер

[Александр]

generate, скрипт php можно запускать через консоль. Тогда он вообще не будет трогать веб сервер.

Answer 1

[Дмитрий Кузнецов]

По крону; в другом потоке; используя очереди...

Answer 2

[mletov]

Вводных явно недостаточно.
Непонятно где узкое место. На уровне базы? Или серверу оперативки не хватает? Если второе, то может характеристики сервака увеличить?
Тут можно предложить только экспериментальные решения:

- Перед запуском скрипта создавать копию базы, импортировать в нее, а потом подменять копию базы обновленной копией.

- Разбивать прилетевший json на несколько json меньшего размера, скажем, если там 100 объектов, то, к примеру, на 10 файлов по 10 объектов и загружать их с некоторым временным промежутком.

Comments

[generate]

Пробовал на серверах на разных мощностях так же, если работает один скрипт то другие не могут вообще

[Илья]

Да там просто сессия блокируется. Надо такие вещи не "из браузера" запускать, а через cli

Answer 3

[rPman]

что значит перестает работать? какую ошибку пишет клиенту?

при высокой нагрузки базы данных (обычно когда много в нее пишут) скорость ее ответа может превысить таймауты, если причина в ней - решайте это к примеру вынесением долгой обработки на другую машину, настроив к ней одностороннюю репликацию к примеру.

Однозначно, любой сервер можно 'убить' плохо написанным кодом, ищите проблемы.

Comments

[generate]

Перестает работать, не загружается сайт пока обрабатывается один скрипт.
Да и вообще при обработке одного скрипта php другие вообще перестают работать до его окончания

[neol]

generate,

Да и вообще при обработке одного скрипта php другие вообще перестают работать до его окончания

Сессию за собой закрывать надо.

[rPman]

generate, еще раз! что такое 'перестает работать'?
что показывает браузер? пустую страницу? сообщение об ошибке? какое?
включи сообщения об ошибках чтоли в настройках php сайта

[generate]

rPman, Там нет никакой ошибки, и белого экрана сайт просто долго грузит. Например попробуйте поставить на php поставить sleep такое же происходит со всем сайтом так открывается любая страница.

[rPman]

Все ответы в теме - в тему
Еще один вариант - сервер настроен на одно активное подключение, пока оно есть, другие ждут в очереди, странно обычно по умолчанию сервер типа апача умеет несколько одновременных

так что переделывайте на запуск скрипта не из браузера а из консоли, чтобы не блокировать веб сервер.
так же если блокировка скриптом базы данных - либо делите работу скрипта на этапы либо увеличивайте производительность сервера, в т.ч. вариант с его копией на соседнем сервере или хотя бы другом диске.

Answer 4

[Adamos]

"Берет картинки" - это, видимо, url, и за каждым он тянется наружу, а весь остальной мир пусть подождет?
Стоит парсить файл, писать в базу данные (не по одной строчке, а транзакциями), а в очередь - урлы на скачку.
Потом фоновой задачей по крону потихоньку скачивать картинки, пока не закончится очередь.
А то сильно кривой скрипт действительно может весь сайт раком поставить, залочив на себя нужную всем таблицу.