Чем создать карту сайта на 5млн страниц?

Question

[stanced]

Привет! Есть сайт с 5млн страниц. Нужно сделать карту сайта, интересует серверное решение в консоли, желательно многопоточное. Все что находил на гитхабе – это один поток и очень медленная работа. Есть какие нибудь варианты?

Comments

[gimntut]

Встречный вопрос. А для чего такая карта нужна? Найти что-то по такой карте человеку - невозможно. А поисковики и без карты справятся.

[stanced]

gimntut, карта нужна, чтобы поисковики справились побыстрее.

[Сергей Горностаев]

Страницы статические или динамически генерируются из данных в БД?

[stanced]

Сергей Горностаев, динамика, сайт один, но базы разные, каждый раздел – своя вселенная. В этом и проблема.

Answer 1

[Mikhail Osher]

https://www.sitemaps.org/protocol.html

You can provide multiple Sitemap files, but each Sitemap file that you provide must have no more than 50,000 URLs and must be no larger than 50MB (52,428,800 bytes). If you would like, you may compress your Sitemap files using gzip to reduce your bandwidth requirement; however the sitemap file once uncompressed must be no larger than 50MB. If you want to list more than 50,000 URLs, you must create multiple Sitemap files.

Comments

[stanced]

Это все известно, вопрос был не в том, сколько урлов допустимо в карте сайта, а как ее создать.

Answer 2

[Виктор Таран]

ЭЭ так это вообще изи
https://www.mydefile.ru/sitemap.xml

Comments

[stanced]

На разделить, а обойти все страницы сайта, при этом посмотреть на robots.txt и создать карту сайта. Вопрос в этом, а не как собрать воедино несколько файлов карты сайта.

[Оптимус Пьян]

stanced, что толку воедино собирать? В одной карте всё равно не может быть больше 10 тыс. ссылок

[Виктор Таран]

Оптимус Пьян, так я ему про это и говорю, карту сайта все-равно разделять.
Если бы коллега сказал на каком движке сайт, было бы я думаю продуктивней.

[stanced]

Оптимус Пьян, вообще то 50 000 тыс, но суть не в этом. Гугл и Яндекс не подавятся.

[stanced]

Виктор Таран, сайт не на "движке", если под движком имеется ввиду wordpress и прочее. Сайт один, динамика, базы разные на разных разделах в каждом разделе разная логика. Нужно тупое решение, которое обойдет все внутренние ссылки, соберет все в кучу и виртуозно поделит по 50 000 ссылок в файлы с разметкой sitemap. Все что я нашел – однопоточное, не рассчитаное даже на 100 000 ссылок.

В идеале нужно решение, которое запуститься в консоли сервера и сделает все хотя бы за сутки максимально быстро (например в 50 или более потоков).

[Ширшов Александр]

Ну обычный сканер - паук, сканите главную страницу, выпаршиваете оттуда все внутренние ссылки, кладете их в очередь, в очереди так-же обрабатываете по кругу. При обработке сохраняете title, может что-то еще что надо. Если нужна многопоточность, выбирайте асинхронную очередь, тот-же rabbitmq, и хоть в 100 потоков.

[Оптимус Пьян]

stanced, всё равно ваш сайт забанят быстро, т.к. это дорвей, типа поисковик не заметит сайт у которого 100 карт максимального размера? А гугл даже при наличии урлов в карте сайт часто просто не индексирует их, так и пишет: в карте 200 , в индексе 100

[stanced]

Оптимус Пьян, во-первых – это не дорвей, во-вторых – откуда вы знаете про то, как гугл относится к картам сайта с миллионом страниц? Если был опыт – поделитесь, если нет – не утверждайте.

[Виктор Таран]

Присоединюсь к колегам, даже 40К страниц коммерческой тематики в индекс залетают не один год.
Мало того приходится подставлять периодические свежие сайтмапы, притом частями и тд и тп.
Столько он не скушает.
А вот сдается мне что это обычные гет пармметры на тех же страницах, и тут есть вопрос с канибализацией запросов, за это СЕОшники по головке не погладят.

[stanced]

Виктор Таран, никаких GET параметров нет, все ссылки структурированы.

[Виктор Таран]

stanced, и че за мегапортал в 5 Млн страниц
дайте структуру глянуть.

Answer 3

[Дмитрий Энтелис]

Мне кажется что парсить сайт по внешним ссылкам - это ну очень ресурсоемко и криво.
Логично генерить sitemap путем хардкода структуры сайта/запросов в базу, заодно можно корректно заполнять поля lastmod, changefreq итд.

Comments

[stanced]

Если было бы все так просто :)
На сайте все динамика, разделы разные, базы разные. Из базы тянуть урл – проще в ногу выстрелить себе)

[Дмитрий Энтелис]

stanced, ну так в чем проблема? Хочется чтобы все было валидно - тяните структуру из базы.
Если ну совсем хочется внешний парсер - ну напишите своего паука.