При работе одного скрипта ложиться весь сайт, как сделать правильно?
Есть скрипт он парсит большой json оттуда берет картинки загружает на сервер, остальные поля добавляет в базу. В одном json больше ста объектов, когда запускаю скрипт он долго обрабатывается потому что там много информации. Но при этом весь сайт перестает работать. Как решить эту проблему ? по одному не вариант.
Вводных явно недостаточно.
Непонятно где узкое место. На уровне базы? Или серверу оперативки не хватает? Если второе, то может характеристики сервака увеличить?
Тут можно предложить только экспериментальные решения:
- Перед запуском скрипта создавать копию базы, импортировать в нее, а потом подменять копию базы обновленной копией.
- Разбивать прилетевший json на несколько json меньшего размера, скажем, если там 100 объектов, то, к примеру, на 10 файлов по 10 объектов и загружать их с некоторым временным промежутком.
что значит перестает работать? какую ошибку пишет клиенту?
при высокой нагрузки базы данных (обычно когда много в нее пишут) скорость ее ответа может превысить таймауты, если причина в ней - решайте это к примеру вынесением долгой обработки на другую машину, настроив к ней одностороннюю репликацию к примеру.
Однозначно, любой сервер можно 'убить' плохо написанным кодом, ищите проблемы.
Перестает работать, не загружается сайт пока обрабатывается один скрипт.
Да и вообще при обработке одного скрипта php другие вообще перестают работать до его окончания
generate, еще раз! что такое 'перестает работать'?
что показывает браузер? пустую страницу? сообщение об ошибке? какое?
включи сообщения об ошибках чтоли в настройках php сайта
rPman, Там нет никакой ошибки, и белого экрана сайт просто долго грузит. Например попробуйте поставить на php поставить sleep такое же происходит со всем сайтом так открывается любая страница.
Все ответы в теме - в тему
Еще один вариант - сервер настроен на одно активное подключение, пока оно есть, другие ждут в очереди, странно обычно по умолчанию сервер типа апача умеет несколько одновременных
так что переделывайте на запуск скрипта не из браузера а из консоли, чтобы не блокировать веб сервер.
так же если блокировка скриптом базы данных - либо делите работу скрипта на этапы либо увеличивайте производительность сервера, в т.ч. вариант с его копией на соседнем сервере или хотя бы другом диске.
"Берет картинки" - это, видимо, url, и за каждым он тянется наружу, а весь остальной мир пусть подождет?
Стоит парсить файл, писать в базу данные (не по одной строчке, а транзакциями), а в очередь - урлы на скачку.
Потом фоновой задачей по крону потихоньку скачивать картинки, пока не закончится очередь.
А то сильно кривой скрипт действительно может весь сайт раком поставить, залочив на себя нужную всем таблицу.
