Как посчитать количество страниц на сайте?

Question

[Дмитрий Кармазин]

Был сервис по адресу webmaster.yandex.ua/check.xml с помощью него весьма точно подсчитывал количество страниц на сайте.

Вариант в гугле site:website.com знаю, но он менее точен. Например гугл находит на biopromin.info 575 страниц, а я знаю что там 488 (посчитал с помощью NeoWatcher)

Бинг вообще 1900 страниц находит.

1. Есть ли возвожность использовтаь старый сервис яндекса?
2. Какие еще есть сервисы быстрые и точные?

Answer 1

[barkalov]

Curl + простой парсер для вытаскивания url'ов из html. И снова curl рекурсивно.

Либо phantom.js вместо curl, тогда будут считаться даже генерируемые скриптами ссылки, ajax'ы и прочая client-side динамика.

Comments

[Дмитрий Кармазин]

Спасибо, но искал облачное решение.

Answer 2

[Николай Пиневич]

Если на сайте корректно настроена карта сайта, то можно воспользоваться вот этим сервисом https://webmaster.yandex.ru/tools/sitemap/
И вставить туда ссылку на ваш сайт http://www.ваш_сайт.ru/sitemap.xml