Как написать сервис определение скорости загрузки сайта?

Question

[Вячеслав Беляев]

Мне надо определять периодически и автоматизированно скорость загрузки сайтов и uptime. Сайты без посещений, только для анализа. По uptime - просто делать запрос к сайту раз в минуту, и если есть результат то все хорошо. А вот как сделать определение скорости загрузки не знаю. Может есть сервисы где есть бесплатная API или есть советы как к этому подойти?
В итоге мне надо определит надежность и быстродействие хостинга.
Еще уточнений: Нужен либо сервис с бесплатным api, либо инфу как это дело написать на php

Comments

[Дмитрий]

https://developers.google.com/speed/docs/insights/...

Answer 1

[Alexander Pushkarev]

1) https://chrome.google.com/webstore/detail/page-loa...
2) Dev tools

Comments

[Вячеслав Беляев]

Добавил что "автоматизированно"

Answer 2

[Игорь Воротнёв]

Есть вот такой шикарный сервис - https://apex.sh/ping/
Правда, сейчас там уже нет бесплатных аккаунтов, но если подходить к делу серьезно, то этот сервис стоит каждый доллар. Есть много аналогичных сервисов, гугл в помощь. У многих есть базовые бесплатные аккаунты.

Для более серьезного мониторинга и анализа на стороне бекенда есть https://newrelic.com

Базовые показатели скорости загрузки можно отслеживать и с помощью Google Analytics. Отдельно можно отслеживать только аптайм, например, с помощью https://uptimerobot.com

Comments

[Вячеслав Беляев]

Нужен либо сервис с бесплатным api, либо инфу как это дело написать на php

[Игорь Воротнёв]

Бесплатно вам никто спи не предоставит, потому что это ресурсы. Кто-то за них должен платить. Писать это на PHP такое себе решение... Но все же.

По аптайму:

1. Задача на кроне раз в минуту дергает php-script.
2. Скрипт запускается, берет из базы или конфига какого-нибудь список урл которые надо пингануть
3. Пингует урлы c помощью curl и каким-то разумным тайм-аутом
4. Получаем ответ, парсим заголовки если надо. Если ответ не получили - значит урл лежит.
5. Пишем результаты п.4 в лог или базу

По скорости загрузки:

Вот тут сложнее, потому что по сути мы можем только измерить время от момента отправки запроса (того же, который проверяет аптайм) до момента получения ответа от удаленного сервера. Это если по простому.

Чтобы посчитать время полной загрузки страницы, с учетом всех файлов (скрипты, стили, картинки и тд), необходимо использовать уже какой-нибудь chromium, который и будет слать запросы и обрабатывать их. По сути это движок браузера, без пользовательского интерфейса, с которым можно работать по его АПИ / из командной строки. PHP умеет в CLI работать, умеет выполнять shell команды, значит их можно подружить.

Как-то так. Но, имхо, игра не стоит свеч - задача весьма нетривиальна, и тратить на нее сотни своих рабочих часов не имеет смысла. Как я написал в ответе, лучше выбрать готовое, по принципу:

1. Денег жалко, надо бесплатно - берем google analytics и uptime monitor (или аналог). Получаем мониторинг аптайма + скорость загрузки. Но скорость загрузки (Google Analytics) будет меряться у реальных юзеров. Если надо как-то мануально раз в Х минут - нужно искать альтернативу. Уверен, что-то такое есть, с базовым набором функционала.

2. Нужен качественный и мощный инструмент - берем New Relic (платный).

Вариант с Nagios и аналогичными инструментами я не привожу, потому как он децентрализован - такие инструменты безусловно круты и удобны, но они требуют установки и настройки на сервере, а если каждый отдельный сайт, который надо тестить, находится на другом сервере - это надо делать на каждом из них, дальше это поддерживать и тд. Ну и смотреть данные надо на каждом сервере отдельно.

[Вячеслав Беляев]

Игорь Воротнёв, 3. Пингует урлы c помощью curl и каким-то разумным тайм-аутом - как раз сейчас это подготавливаю. Этот вопрос был в довесок. Основной был по скорости. Буду думать ка это решить

[Игорь Воротнёв]

Вячеслав Беляев, ну вот этим кодом с curl вы можете проверять доступность и скорость ответа сервера (то есть, бекенд), сравнивая таймеры. Это достаточно простая задача. А вот замерять скорость полной загрузки с учетом фронта - вот это уже задача совершенно другого уровня.

[Вячеслав Беляев]

Игорь Воротнёв, Понял. Спасибо большое

[Дмитрий]

Игорь Воротнёв, у гугла и для этого есть апишечка.
чуть выше в комментариях ссылку добавил
https://developers.google.com/speed/docs/insights/...

[Игорь Воротнёв]

Дмитрий, да, точно. Совсем забыл про него. Правда, насколько мне помнится, гугль ограничивает количество запросов, за дополнительные денег тоже просит.

Answer 3

[Boris Köln]

https://ru.wikipedia.org/wiki/Nagios

Comments

[Вячеслав Беляев]

Нужен либо сервис с бесплатным api, либо инфу как это дело написать на php

[Boris Köln]

Вам шашечки или ехать?
Там можно смотреть графики, настроить уведомления при критичных значениях и пр. Что еще надо то?

[Вячеслав Беляев]

Boris Korobkov, Мне надо всего два значения это бытродействие (время загрузки сайта буду конвентировать в баллы) и надежность. И все. И надо это дело автоматизировать для нескольких хостингов и выводить на сайте

[Boris Köln]

Тогда достаточно в консоли выполнить wget

[Вячеслав Беляев]

А на удаленном хостинге? Сайт хранится вне основного сервера

[Boris Köln]

wget URL

[Вячеслав Беляев]

Boris Korobkov, Ну да. Есть что то. Как то можно это с php связать?

[Boris Köln]

php.net/manual/ru/book.curl.php

Answer 4

[Олег]

Скорость загрузки весьма относительная цифра.
1. Ограничения провайдера
2. Хостер
3. Железо пользователя
4. Линия
...
Пинг так же относительно.

Так что вариант только отдавать php microtime()

<?php
$time = microtime();
$time = explode(' ', $time);
$time = $time[1] + $time[0];
$start = $time;
//Дальше исполняемый код...
//В конец страницы
$time = microtime();
$time = explode(' ', $time);
$time = $time[1] + $time[0];
$finish = $time;
$total_time = round(($finish - $start), 4);
echo 'Страница загружена '.$total_time.' seconds.'."\n";

Comments

[Вячеслав Беляев]

Это совсем не то. И реализация плохенька

$start_time = microtime(true);
// Остальной код
echo round(microtime(true) - $start_time, 3);
echo round(memory_get_usage() / 1024 / 1024, 2)."Mb" ; //Так можно расширить

Вот и все

[Игорь Воротнёв]

А еще ваше вот это "echo 'Страница загружена" безбожно врет, потому что эти цифры никак не дают время загрузки страницы. Они дают время генерации страницы на сервере.

И уж тем более ставить один и тот же код каждую страницу - это как бы намекает что нету приложения, а есть какая-то каша html-php-css-js.