Чем собрать SEO-информацию о сайте: URL, TITLE, DESCRIPTION, STATUS, H1?
Сеошник попросил найти инструмент с помощью которого можно было пройтись по всем страницам определенного сайта и собрать о каждой из них такую информацию: URL, TITLE, DESCRIPTION, STATUS/CODE, H1.
Говорит ранее использовал: Screaming Frog, но в этот раз он почему-то не находит более 60% страниц на сайте.
Вряд-ли найдёте такое ПО.
Screeming Frog может не работать в случае с теми сайтами, где информация подгружается JS'ом.
Что-бы получить гарантированный результат нужно использовать Selenium + любой язык программирования, который знаете. Если не знаете - закажите на фрилансе, не думаю что это будет стоить слишком дорого.
В принципе если подумать, то можно миксануть Selenium + обычные запросы. Типа для тех страниц где информация догружается с JS запускать Selenium и пускай собирает, там где информация сразу отдаётся - обычные запросы, что-бы быстро получить результат.
Ivan Yakushenko, спасибо за ответ. Значит начну с ковыряния в настройках: Screeming Frog, мой сеошник заверил что JS-ом на сайте ничего не подгружается...
Леонид, обычно все подобные скрипты работают следующим образом: заходит на страницу, собирают с неё все ссылки домен которых соответствует исходному сайту и начинают их бороздить, с каждой собирая новые ссылки.
Если где-то хоть одна ссылка, или кнопка пагинации страницы работает на JS, или подгружается с JS, чего СЕО-шник вполне мог и не заметить, то работа всего принципа сбора ссылок полностью ломается.
Ivan Yakushenko, абсолютно Вас понимаю, спасибо! Я пробежался по страницам сайта: посмотрел в код - все нужным сеошнику ссылки вполне себе стандратные (href="URL").
Простой
