Как не уронить сайт запуская громадный скрипт в кроне?

Question

[Иван Антонов]

У скрипта следующие действия:
1. он скачивает немалый gz архив.
2. распаковывает и считывает вложенный xml.
3. из xml забирает объекты в БД и скачивает фотографии.

При мониторинге выполнения сервер показывает:

С такой нагрузкой сайт становится недоступным.

Подскажите как поступить, можно ли ограничить скрипту количество используемых процессов.
И чего стоит избегать в самом скрипте?

Comments

[Adamos]

Можно разбить на ТРИ скрипта, давая каждому достаточно времени для выполнения и установив флаги, позволяющие убедиться, что предыдуший выполнен.
Третий - скачивание фоток - можно запускать многократно, проверяя, есть ли объекты для обработки, и обрывать по таймауту.

[Иван Антонов]

Adamos: Полезно. а есть что почитать по теме разделение скриптов? Вроде множество способов есть.

[Adamos]

А что вы тут собрались читать?
Скрипт 1 выставляет флаг "начал работу", скачивает и распаковывает архив, выставляет флаг "закончил работу".
Скрипт 2 запускается, скажем, минут через пятнадцать. Проверяет флаг "закончил работу" первого, парсит xml, заносит в базу данные, в том числе адреса фоток, которые надо скачать.
Скрипт 3 запускается каждые 5 минут, проверяет, есть ли в базе нескачанные фотки, выбирает первую, скачивает и помечает загруженной, проверяет, сколько прошло времени, если мало - ищет следующую, иначе заканчивает работу.
Собственно, и все. 1 и 2 разделять, в принципе, необязательно. Зависит от объема файла и ограничений хостера.

[neol]

А скрипт у вас таки на PHP или perl? В принципе для решения это не столь важно, просто в тегах стоит PHP, а в htop у вас виднеется perl. Или он туда случайно попал?

Подскажите как поступить, можно ли ограничить скрипту количество используемых процессов.

И php, и perl однопоточные, так что сами по себе они больше одного процесса не создадут. Если же вы заморочились на многопоточность, то и ограничивать надо на уровне приложения.

[Иван Антонов]

neol: PHP. Выполняемый скрипт nmls.php. Perl выполняет GET запрос к php скрипту.

[Adamos]

Иван Антонов: Хм. Судя по имени файла, мы с вами решали одну и ту же задачу ;)

Я решил ее так, как описал выше. Для разбора файла использовал XMLReader - но для он нормально работает только при наличии достаточной памяти. У меня хостинг для Битрикса, там памяти достаточно.

[Иван Антонов]

Adamos: я использую simplexml. на 8 ядерной машине с 24 гб памятью.

[Adamos]

Иван Антонов: Не исключено, что корень ваших проблем - именно в этом.
Громадные файлы и SimpleXML, прямо скажем, не созданы друг для друга.
И что, у вас в настройках пыха прописано, что любой скрипт может жрать всю многогиговую память?

Answer 1

[Иван Антонов]

Нашел проблему в скрипте. Функция simplexml_load_file съедал всю ОЗУ, записывая в память здоровенный XML, от чего сервер зависал. После переписи скрипта под класс XMLReader, скрипт перестал съедать весь ОЗУ. Сделал как в примере: как использовать XMLReader.
Спасибо Adamos за подсказку:

Громадные файлы и SimpleXML, прямо скажем, не созданы друг для друга.

Для разбора файла использовал XMLReader

Comments

[Adamos]

Всегда пожалуйста! :)

[Иван Антонов]

Adamos: А как лучше делать формирование XML?
Через XMLWriter или сохранения в буфер сформированных данных и сохранения из в документ xml?

[Adamos]

Иван Антонов: Что значит "лучше"? Сформулируйте вопрос конкретнее - возможно, вы сами же и придете к ответу.

Answer 2

[Thomas Storm]

Приветствую, топик стартер.
А откуда он скачивает архив? Стоит еще озаботиться вопрос сетевой нагрузки.
Предоставьте скрипт, это поможет лучше продумать решение.

Comments

[Иван Антонов]

Архив с другого сайта.

[Thomas Storm]

Иван Антонов: ну, не хотите делиться скриптом, как хотите :)
вот здесь: blog.scoutapp.com/articles/2014/11/04/restricting-... как ограничить использование процессора.
а вот здесь тред, как ограничить скорость скачивания: unix.stackexchange.com/questions/39218/throttle-th...
Если у вас несколько сетевых интерфейсов - я бы скачку файла поставил бы на отдельный
При создании cgroup можете так же ограничить использование памяти.

Answer 3

[mureevms]

На каком шаге возникает нагрузка? Если при распаковке, то Как извлечь из tar-архива определенные файлы

Comments

[Иван Антонов]

по-моему, в момент считывания xml

[mureevms]

Тогда Adamos правильно пишет.
Еще как вариант можно данную задачу переложить на другой сервер и лить уже готовые данные на сервер с сайтом.

[Adamos]

Есть еще нюанс: XML в PHP можно читать несколькими способами, и у них очень разнятся производительность, потребление памяти и пр. Если затык именно в парсинге - стоит поэкспериментировать с другими вариантами.

Answer 4

[neol]

LA 3.5 при 8 ядрах не выглядит поводом для недоступности сайта.
Может проблема в блокировке таблицы на время обновления БД?

Comments

[Иван Антонов]

В случае блокировки ошибка была бы другой. Сайт просто не отвечает клиенту.

[neol]

Иван Антонов: Чтобы не разводить пустой трёп, сделайте пожалуйста SHOW PROCESSLIST в момент затыка. Если там нет кучка соединений в состоянии waiting, то я не прав.

Answer 5

[yarofon]

Выполняйте крон на другом сервере. Например, стартуйте инстанс EC2 на амазоне (если не часто).

Comments

[Valera_gm]

Ему такой вариант не подойдет, тк зависает 8ядерный сервер с 24гб... Имхо, надо капать в сторону оптимизации скриптов.