Как проиндексировать много карт сайта?

Question

[VeyDlin]

У меня в robots.txt прописано 18 тысяч карт сайта, в каждой карте максимальное количество ссылок (50 тысяч), но поисковые роботы принимают только первые 100 карт, как с этим быть?

Comments

[xmoonlight]

18 тысяч карт?! может линков?

[VeyDlin]

xmoonlight, нет, карт, линков около 900 тысяч

[xmoonlight]

ВэйДлин, ну так запакуйте их в gzip-архив. допускается же.

[VeyDlin]

xmoonlight, так дело не в этом, из-за ограничения в 50 тысяч ссылок на карту карт все равно будет 18 тысяч, и что с того, что они запакованы?

Проблема в том, что поисковик берет только первые 100 карт из robots

[xmoonlight]

ВэйДлин, так Вы там одну карту указываете, а остальные - пихаете в архив указанной (контейнер карт).

Answer 1

[Андрей]

У яндекса написано вот так. Т.е. если кратко: есть файл sitemap.xml в котором указываются ссылки на другие карты, а уже в них указываются нужные ссылки. А в robot.txt прописывается только главный файл.

Comments

[Андрей]

Если быть точнее, то это описано в самом стандарте sitemap.xml