Как автоматизировать процесс составления sitemap (для ПС)?

Question

[Billy Milligan]

Хочу автоматизировать этот процесс, поделитесь опытом как вы это делаете.

Можно записывать все изменения в конец уже существующего sitemap.xml или например сделать в БД таблицу и записывать туда изменения, а в конце недели перезаписывать sitemap.xml.

Не знаю правильного подхода, подскажите.

Comments

[Billy Milligan]

@noys , вопрос в другом)

Answer 1

[jacksparrow]

Из личного опыта, sitemap это не тот файл, который постоянно открывают, соотвественно можно пожертвовать производительностью и генерировать его в режиме онлайн.
Второе важное наблюдение sitemap не обязан быть по адресу sitemap.xml , в моих проектах он доступен по адресу site.ru/sitemap и это вполне хорошо работает.
По поводу предела юрл, во первых страницы которых нету в сайт мапе тоже индексируются, при хорошей доступности с главной страницы они быстро попадут в индекс.
Потом можно делать несколько сайтмап файлов

Comments

[Billy Milligan]

@jacksparrow , то есть можно писать всё в конец, а поисковики сами разберутся с тем, что уже проиндексировали?
Если туда записана страница, а через месяца 3 будет удалена, что делать с не существующими? Не шарить же по всему файлу в поисках этого урла для удаления, накладно это будет, наверное.

[jacksparrow]

@Billy_Milligan я генерирую файл по крону, я генерирую его по запросу,
да, поисковики сами разбируться, вы можете даже удалять старые не нужные для переиндексации страницы

Answer 2

[Сергей Макаров]

Написать вывод sitemap на php, далее в .htaccess настроить правила и всё) Если CMS какая-то, то установить плагин для этого

Comments

[Billy Milligan]

можно поподробнее?)
не понимаю чего такого можно прописать в .htaccess и как это вообще связанно?
и как решать проблему с пределом в 10000 URL и 10 мб на файл ?
можно ли перезаписывать уже проверенный ботами файл?