Как бы вы решили вопрос с долгим выполнение процесса?

Question

[Павел Гоголинский]

Добрый день. У меня на сайте-каталоге работает загрузка из xml. Она выполняется 4 минуты. Максимальное время процесса на хостинге 1 минута. Как бы решили эту проблему? Кроме смены хостинга/тарифа. Сталкивался кто-нибудь с такой задачей? Может как-то заканчивать парсинг через секунд 50, а потом запускаться заново? Только как запуститься с нужного места тогда...

Comments

[Zhainar]

set_time_limit(0); не пробовали?

[Павел Гоголинский]

Это shared-хостинг. Там свои ограничения, мне их set_time_limit не перебить

Answer 1

[coderisimo]

Это конечно, быдлокодерство, но я использовал самописную штуку, которая разбивала большую задачу на маленькие и через JS отдавала понемногу серверу для обработки

Answer 2

[Александр N++]

в 2 этапа
1) принимаем ставим в очереди
2) в кроне парсим записываем результат для пользователя

такой подход бозволит обрабатывать и 1.5гб xml
в 20-30мб оперативы на скрипт если для парсинга использовать связку
XmlReader для обхода дерева для парсинга нод SimpleXml

Comments

[Павел Гоголинский]

Не понял первый этап. В какие очереди ставим? Что значит Принимаем?

[Александр N++]

Вы xml загружаете и сразу выполняете, а что бы разделить, сперва загрузите файл на сервере в БД создаем запись что нужно этот xml обработать.

дальше пишем пхп скрипт для крона который смотрит в бд табличку берет нужную записи и путь к файлу ЗА ГРУЖЕНЫЙ ранее и парсит, как вам уже надо.