Как массово проверить каждую страницу на скорость загрузки?

Question

[AlexeyFuture]

Такой вопрос, на сайте около 40 тысяч страниц, и нужно каждую отдельную проверить на скорость загрузки страницы, как это можно сделать?
При выгрузке из screaming seo frog показывает только пустые столбцы, как можно еще это сделать?(

Comments

[Михаил Р.]

С учетом разных устройств и сетей?

[AlexeyFuture]

Михаил Р., Хотябы просто пару тысяч проверить)
Но такой вариант вообще идеальный

[Михаил Р.]

AlexeyFuture, я так понимаю, что сервис нужен бесплатный?

[pfg21]

прогнать по списку wget
из его выхлопа спарсить скорость скачивания

Answer 1

[Евгений Молдовану]

Вам или нужны сервисы типа (платные тарифы)
https://gtmetrix.com/
https://tools.pingdom.com/

Из бесплатного раньше работала https://site-analyzer.ru/soft/bulk-google-page-speed/
, но там все равно нужен ключ апи, а значить тысячи страниц может и не осилить.

Answer 2

[Александр Денисов]

Пару лет назад писал статью на тему автоматизации мониторинга показателей CWV, одна из частей статьи посвящается как раз массовой проверке показателей скорости загрузки, ссыль.

Answer 3

[Дмитрий]

Screaming Frog будет показывать если вы подключите API Page Speed. Без этого он будет выводить пустые столбцы.

Answer 4

[eugene159]

Напиши свой парсер на PHP CLI (это просто пример, можно использовать другую технологию), который будет обходить все страницы и через file_get_contents выцеплять из html кода время ответа от сервера и помещать в Excel-файл рядом со ссылкой на страницу.

Конечно, предварительно нужно подправить html код - вывести время ответа от сервера. Куда-нибудь в тег html или body, например. Чтобы попроще было выцепить.

Не забудь парсеру поставить sleep, потому что обход всех страниц за короткий промежуток времени - это что-то типа DDOS-атаки.
А еще у сайта может быть кеширование, так что одного обхода будет мало. Первый обход только создаст кеш страниц.

Если ты не программист, а сеошник, поставь задачу программисту. Ты же не один в команде?