Как посмотреть полную информацию о загрузке веб-страницы, скриптах, через которые приходится пройти, начиная с обращения к серверу хостинга?
Я облазил инструмент разработчика, там ничего не нашёл.
Итак, к сути. Перед тем, как загрузить для кого-то страницу сайта, сервер хостинга запускает скрипт (это я нашёл в логах). Этим скриптом сервер фильтрует, кому показывать страницу, а кому отдать код 412, 403, в общем, 4.. , но никак не 200.
В браузере вообще нет инфы о загрузке до страницы, не вижу там скрипта, который вижу в админке хостинга в логах обращений к сайту.
А я бы очень хотел увидеть содержимое этого скрипта. Но как ни строю поисковые запросы, я не могу выйти ни на софт, который может показать реально всё о полной загрузке странице, включая скрипты хостинга с их содержимым, начиная с обращения к хостингу, ни на какой-либо онлайн ресурс.
ИИ советует Node.js + Selenium . Однако это не в моей компетенции и я ищу вариант проще. Парадокс, что ноль инфы в целом интернете. Ощущение, что нестандартные вопросы-запросы будто только у меня.
Ну так как же всё-таки реализовать желание, чтобы посмотреть полную информацию о загрузке веб-страницы, скриптах (их содержимым), через которые приходится пройти, начиная с обращения к серверу хостинга?
Щас бы хостингам в целом сливать инфу о том, что Вася Пупкин открывает site.com, тот в index.php запускает функцию getPage(), которая шарится в настройках getSettings(), который подключает route.php и db.php, ну ну... В рамках своего сайта может делать логирование, кто кого куда и зачем.
Одиночка Айс, вот-вот, очень хорошо скрыт хостингом этот скрипт. А я хочу его видеть, видеть его содержимое. В логах на хостинге показывается не фуловая ссылка, без домена, на котором скрипт. Не могу добраться до содержимого скрипта. А хочу.
qaa_engineer_ru, нет, этот метод не работает. проверял ещё до Вашей публикации. Тут не показывается скрипт хостинга, который выполняется до загрузки страницы... Ваш способ показывает только мои скрипты внутри html . А информация о загрузке страницы до html страницы не представляется.
Одиночка Айс, Улыбнули, окрестив меня одним из Васянов. Вот и я сердцем чую, что будто нет возможности увидеть нутро этого скрипта, если я даже полный путь к нему не могу выяснить... показывается в логах в админке на хостинге условно /script.js, а что до слэша, какой там домен, я даже не знаю... подбор доменов к успеху не привёл, я даже не нашёл существующий url скрипта, и вот через этот /script.js хостинг решает, кого пропустить на страницу, а кого послать лесом...
Я так понимаю это хостинг для вашего сайта, раз вы смотрите информацию во внутренних логах? Тогда вам следует обращаться в поддержку хостинга, а не сюда. То, что делает сервер, дело сервера, с клиентской стороны вы это ни как не посмотрите. Но если сервер "принадлежит" вам, но вы его не полностью контролируете как в данном случае, кроме поддержки (или отказа от этого хостинга) вариантов нет.
Михаил, я пробовал просить хостинг предоставить мне содержимое скрипта, хостинг отказал. Ну, тут типа их скрипт на фильтр нашествия ботов, которым они не хотят делиться, их разработка, которую я будто хочу у них "слизать". Как-то так я это понимаю.
Почему меня стал терзать этот вопрос... Во-первых, ограничение php 55ср, ограничение MySQL 1000ср. С этой точки зрения хорошо, что предоставляют защиту от ботов, раз такой небольшой лимит мощей. Но во-вторых, не пропускаются боты petalsearch, mail.ru и многие другие. Но это полбеды, так как по заявлению хостинга фильтруются все боты, кроме ботов Яндекса и Гугла, что мне, собственно, достаточно.
Но главное - не пропускается бот Lighthouse. Когда я хочу посмотреть данные страницы по PageSpeed, то страницу запрашивает бот Lighthouse в логах и отлетает с 412 ответом. То есть PageSpeed не может выполнить свою задачу, уходит с 412. Парадокс в том, что в инструментах разработчика, если запустить LightHouse, то он спокойно обрабатывает страницу с кодом 200. А если запускать PageSpeed, то ответ 412, то есть ноль на массу. А как я понимаю, именно по PageSpeed гугл, в частности, ранжирует сайт. Или я ошибаюсь, и гугл при таком скрипте хостинга всё-таки всё равно видит, что у меня быстрый, адаптивный и грамотный код, быстрый ответ, сервера, хорошая отрисовка, крутой SpeedIndex и прочее?
Вот я и хотел бы получить доступ к этому скрипту, чтобы добавить какие-то исключения, пропускающие ботов, хотя бы чтобы PageSpeed работал.
В самой админке хостинга я могу отключить защиту от ботов, и тогда доступ получат все боты, включая PageSpeed. Но стоит ли оно того в моём случае при небольших мощах ?
Выбирая из двух зол - с защитой или без защиты, я выбрал с защитой, и в Вебмастере Яндекса резко упал показатель отказов с 40%+ до менее 25% и продолжает падать дальше. То есть, в частности, поведенческий фактор стал лучше, ибо почти нет левых заходов на сайт. Накрутить поведенческий фактор, видимо, будет стоить немало денег для желающих уронить позиции, ибо простыми способами - не получится.
Вот такая ботва... И даже не знаю, что делать с этим, чтобы по уму было...
BLM21, Да локальный Lighthouse в дев тулзах работает с вашим UserAgent от браузера. PageSpeed запускает проверку на своих серверах. По-хорошему хостинг мог бы добавить настройку где вы не видят скрипт могли бы хотя бы задать каких ботов вы хотите пропускать. Возможно это и нужно просить у поддержки (может ручное какое-то добавление у них есть, но функционал для пользователей не реализован). Вариантов тут несколько. Менять хостинг у которого есть защита, но реализация другая или выключить защиту и использовать стороннюю. Можно cloudflare, но у него иногда проблема с доступностью в РФ. Меня в последнее время ложно помечает ботом
Михаил, да, насчёт Cloudflare думал немало, но не решился, ибо видел сайты на Cloudflare, которые не имеют преимущества перед моим. DDOS-атаки, сдаётся мне, мой хостинг сможет отразить.
Хостинг отвечал по-простому - Вы можете изменить настройку защиты от ботов на "Стандарт", всего и делов...
Но прав ли я, что в моём случае ранжирование по скорости и прочим нюансам, которые есть в PageSpeed, я теряю, ибо запуск бота LightHouse отлетает с 412?
BLM21, По SEO подсказать не могу. Мои размышления такие: если Google для ранжирования использует данные Lighthouse, то собирает он их в процессе индексирования сайта (то есть когда UA Googlebot). Отдельно бот Lighthouse ходит только когда вы сами или кто-то другой пытается воспользоваться сервисом PageSpeed. Эту теорию наверное можно отследить по логам, если вы видите большое кол-во заблокированных ботов Lighthouse (на регулярной основе), тогда наверное Google все же собирает эти данные для себя.
Михаил, да, я замечал именно такое иногда, что заходит в логах бот гугла, сразу за ним заходит бот Lighthouse без интервала даже в секунду и отлетает с 412... ( Выглядит по логам так, будто бот гугла вызвал бота Lighthouse, который сразу отлетел.
Вручную PageSpeed работает, если убрать галку с "защиты от всех ботов". Но там по логам видно, что и многим другим доступ открывается сразу. А с защитой заходишь в логи и видишь, что почти все, кроме Яндекса и Гугла отлетели с 412.
BLM21, Можно ещё попробовать грамотно расписать поддержки, что поисковые боты не ограничиваются там, что сейчас у них задано в скрипте. Расписать сценарии, выразить беспокойство, что из-за скрипта страдает поисковая оптимизация, но при этом пользоваться им хочется. Возможно возьмут на доработку и добавят ботов
