Как создать большую карту сайта?

Question

[PendalF89]

Здравствуйте!
Есть сайт, на котором ~30 000 000 страниц. Карта сайта создаётся PHP-скриптом за... довольно долгое количество времени. Данные для карты сайта берутся из базы MySQL. Подскажите, какой лучше язык программирования использовать, чтобы не создавать большую нагрузку на сервер (карта сайта будет обновляться ежедневно).

Answer 1

[Сергей delphinpro]

30 млн страниц пихать в один файл не имеет смысла. Яндекс к примеру настаивает, чтобы в одном файле карты было не более 50 тыс ссылок.

Попробуйте разбивать карту на несколько файлов
https://www.sitemaps.org/ru/protocol.html#index

потом по крону обновлять каждые две минуты очередной кусок карты, за сутки как раз обновится вся карта, и далее по кругу.

Comments

[PendalF89]

С разбивкой проблем нет, сейчас так и происходит, но карта собирается за один раз. По кускам собирать не получится, т.к. нужна сортировка по lastmodified в каждом куске.

Хотя с другой стороны, можно собирать по кускам, туда пихать по lastmodified, а потом после каждого куска обновлять корневую карту сайта. Хм... Возможно, это и есть решение проблемы. Но тогда возможны дубли страниц в разных кусках.