Чем собрать SEO-информацию о сайте: URL, TITLE, DESCRIPTION, STATUS, H1?

Question

[Леонид]

Сеошник попросил найти инструмент с помощью которого можно было пройтись по всем страницам определенного сайта и собрать о каждой из них такую информацию: URL, TITLE, DESCRIPTION, STATUS/CODE, H1.

Говорит ранее использовал: Screaming Frog, но в этот раз он почему-то не находит более 60% страниц на сайте.

Посоветуйте аналоги для такой задачи?

Comments

[Ivan Yakushenko]

Вряд-ли найдёте такое ПО.
Screeming Frog может не работать в случае с теми сайтами, где информация подгружается JS'ом.
Что-бы получить гарантированный результат нужно использовать Selenium + любой язык программирования, который знаете. Если не знаете - закажите на фрилансе, не думаю что это будет стоить слишком дорого.
В принципе если подумать, то можно миксануть Selenium + обычные запросы. Типа для тех страниц где информация догружается с JS запускать Selenium и пускай собирает, там где информация сразу отдаётся - обычные запросы, что-бы быстро получить результат.

[Леонид]

Ivan Yakushenko, спасибо за ответ. Значит начну с ковыряния в настройках: Screeming Frog, мой сеошник заверил что JS-ом на сайте ничего не подгружается...

[Ivan Yakushenko]

Леонид, обычно все подобные скрипты работают следующим образом: заходит на страницу, собирают с неё все ссылки домен которых соответствует исходному сайту и начинают их бороздить, с каждой собирая новые ссылки.
Если где-то хоть одна ссылка, или кнопка пагинации страницы работает на JS, или подгружается с JS, чего СЕО-шник вполне мог и не заметить, то работа всего принципа сбора ссылок полностью ломается.

[Леонид]

Ivan Yakushenko, абсолютно Вас понимаю, спасибо! Я пробежался по страницам сайта: посмотрел в код - все нужным сеошнику ссылки вполне себе стандратные (href="URL").

[Леонид]

кто ищет тот находит:
beamusup.com
https://wildshark.co.uk/spider-tool/

Answer 1

[Алексей Немиров]

SiteAnalizer попробуйте им.