Продолжение вопроса. как сканировать сайтмап?

Question

[Сергей БАрд]

Всем привет. Продолжая этот вопрос хочу уточнить некоторые моменты.
Вопрос только по скану sitemap, как лучше всего сканировать сайтмап у которого больше 100 000 ссылок на PHP?, я хочу узнать нормальная ли идея сканировать малые сайтмапы каждый день, а большие раз в неделю например, я так думаю что скрипт на большом сайте будет несколько дней работать и наверное лучше будет запускать их в разное время.
Кто может сталкивался уже с таким вопросом, я понимаю что на php это мало кто делает (а может и вообще не делают), но пока я нормально знаю только его и на первое время грубо говоря нужно сделать на php.

Comments

[Alexander Leonchik]

Не являюсь PHP разработчиком, но коммент оставлю, не раз писал подобные вещи на Ruby, смысл такой же по сути, использовал библиотеку Nokogiri (она и под php есть), прикол в том что там можно было "разделить" память, тем самым процесс не перегружал ОЗУ и работал очень шустро, но повторюсь писал на Ruby, на пыхе не знаю как будет.

Еще стоит разбить все это делать на процессы, например один сканирует, вызывает другой процесс (которых в свою очередь может быть десятки) и передает ему ссылку, этот воркер в свою очередь загружает контент или еще какие то манипуляции проводит и пишет результаты в базу.

Как итог, получите асинхронную работу.
P.S. Как раз решаю на текущий момент аналогичную задачу )