Почему google bot заходит на одни и те же страницы?

Question

[Александр]

Подскажите пожалуйста, с чего бы гугл бот заболел амнезией и 4ый день уже долбит две посадочные страницы с завидной регулярностью?



До этих странностей бот обходил рендомно страницы (их более 100) и не было приоритета по частоте для какой-то одной.
Не понятно с чего вдруг, но он полюбил две посадочные и тошнит их от 5ти до 10 раз в час. Не то чтобы что-то поменялось в выдаче (за 4дня так уж точно нет).
Но имея уже определенную картину, как бот гугла обычно бегает по страницам, данные действия кажутся странными.
p.s. знаю, что гугл бот можна направить на любой ресурс искать все что угодно, просто вбив на сервисе https://search.google.com/test/mobile-friendly любой текст после URL cайта
И он придет искать то, чего нету. В данном же случае - это не похоже на использование вышеупомянутого сервиса.

Есть идеи, почему гугл боту вдруг стало важно обходить две страницы сайта с частотой в 10 раз в час и так в течении 4суток уже?

Comments

[Олег]

А у Вас к этим урлам нет случайно на сайте ссылок с параметрами ?
имя переменной сессии стандартное ? что будет если запретить прием кук в броузере ?

sitemap.xml есть ? не могли там сами себе такое устроить, каждый раз отвечая, что страница была обновлена час назад из-за ошибки в часовом поясе на сервере.

И лучше такое анализировать через поисковую консоль от гугла .

[Александр]

А у Вас к этим урлам нет случайно на сайте ссылок с параметрами ?
имя переменной сессии стандартное ?

Хороший вопрос, еще бы знать что такое "переменная сессия"...
Эти две посадочные, как и сто остальных - сделаны по одному шаблону. Все посадочные имеют внутренние ссылки на портфолио и контакт форму. На сами посадочные нигде на сайте ссылок нету.

И лучше такое анализировать через поисковую консоль от гугла .

Каким образом лучше? Честно говоря, я понятия не имею как обход бота около 10раз в час на две посадочные (на другие он тоже заходит, но эти стали любимыми) - как это все проанализировать в search console.
Буду благодарен, если подскажете.

[Александр]

p.s. в search console вот такой бред:




Текст роботса:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/themes/bridge/style.css

И сфига гугл бот индексирует или че он делает в плагине Wordfence?
Все больше вопросов)

[Олег]

попробуйте вписать мета тег канонического урла в тело посадочных.
А в сеачконсоли гугла , что гет параметр hid не должен учитываться

[Александр]

Олег, И это я тоже никогда не делал и не умею ;)
Впрочем, похоже "собака порылась" в плагине Wordfence


C какого-то дива гугл бот по доброте душевной - проиндексировал кеш этого плагина.
Отправил на удаление из кеша все URL, который затесались в индекс.
Через пару дней станет понятнее, в этом ли проблема.

[Александр]

p.s. кстати говоря, вот фраза "проиндексировано, несмотря на блокировку в robots.txt" - это весьма иронично. И показывает, что гугл боту указания в robots.txt - поскольку постольку. В целом, анализ топов в своей нише показал, что ничего более

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

не пишут в принципе.

Answer 1

[Олег]

У Вас крутиться реклама на внешних ресурсах.
Ссылка на ваши посадочные страницы содержит get параметр для отслеживания перехода hid
Объясните в Google Search Console, что этот (эти) get параметры не нужно учитывать.

Search console - Прежние инструменты - Параметры урл
hid - Нет, параметр не влияет на содержимое страницы.

Дополнительно можно указать в теле посадочных страниц канонический урл
https://seoprofy.ua/blog/optimizaciya-sajtov/rel-c...
rel cannonical

Comments

[Александр]

У Вас крутиться реклама на внешних ресурсах.

Нет конечно. С чего у вас такие выводы? Никто рекламу не заказывал никогда вообще.

Дополнительно можно указать в теле посадочных страниц канонический урл

Я создал более 100 посадочных, из которых около 20 в топ 3 по коммерческому запросу. И никогда не указывал дополнительно canonical, все просто работает и так, учитывая мои весьма скромные познания в SEO.

То есть,проблема не в этом, иначе такие траблы были бы намного раньше.

[Александр]

Ссылка на ваши посадочные страницы содержит get параметр для отслеживания перехода hid

вы точно уверенны, что параметр HID в работе плагина Wordfence - связан именно с рекламой а не параметрами самого плагина?

[Олег]

я точно уверен , что из-за этого бот видит одну и туже страницу как новую.
вам нужны в индексе 100500 копий одно и того же ? бот их все равно отправляет в мусор.
указание игнорировать поисковикам этот параметр ничего не сломает для сайта.

[Александр]

я точно уверен , что из-за этого

Тогда как вы обьясните связь плагина Wordfence и рекламы, которую точно не владелец сайта заказывал?



То есть, допустим вы правы - это реклама. Причем тут начало ЮРЛа c отсылкой к плагину?

[Олег]

еще раз.
Бот парсит какую то страницу.
все найденные урлы собираются в очередь.
Урл включает в себя и часть после знака вопроса.
В вашем случае бот скачивает одну и туже страницу с разными окончания. отличия в hid.
Видит дубль. Выкидывает.
Но он постоянно находит еще варианты . пробует и выкидывает . Как вы пишите в темпе 10 раз в минуту.
Так что игнорируйте эти запросы как всю жизнь до этого.
Или научитесь помогать ботам не делать бесполезную работу.

[Александр]

Олег, Так а вопрос был то - почему URL, который попал в индекс, есть слово Wordfence - название плагина безопасности. Вы сказали, что параметр HID относится к рекламе. Я же спросил, в чем связь между плагином безопасности и не заказанной рекламой? Скорее, это к рекламе отношения не имеет а вот к плагину Wordfence - имеет.

Так что игнорируйте эти запросы как всю жизнь до этого.

таких запросов не было 5дней назад в принципе

[Олег]

Какая разница что конкретно делает этот гет параметр и откуда он взялся. Угадал я его назначение или нет.
Для вашего вопроса почему бот запрашивает одну и туже страницу это не важно.
ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется.

[Александр]

ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется

Тут гадать мне не приходится, я в режиме реального времени вижу все заходы бота и это для меня не было вопросом,что мол бот проверяет только две страницы.

[Олег]

вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.

Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)
иметь сайтемап с актуальной датой изменения страниц и указанием ожидаемой частоты переобхода.
управлять ответами сервера
- етаг
- ластмодифи
- правильно обрабатывать запрос If-Modified-Since

Избегать доступности одного и того же контента по разным урлам.
Давить индексацию как в вашем случае размножение урлов не значимые гет параметрами.

Например. Вы сделали форму запроса о товаре
/rerust.php?good=число

задавите /rerust в robots
ссылки на эту форму только с модификатором nofollow
Не знаю на сколько сейчас достаточно только его, раньше еще оборачивали еще все целиком в noindex

[Александр]

вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.

А вот за это спасибо, поржал.

Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)

Вам видимо нужна оптимизация ради оптимизации. А мне нужно,чтобы созданные мною посадочные были по ключевым запросам в топ 3, максимум в топ10.
И так и есть для минимум 20 страниц - они в топ 3.
Видимо у вас свои понимания "мусорных юрлов", да только этот "мусор" в топе и приносит трафик и клиентов.

Если вы ВНИМАТЕЛЬНО читали, что уже понятно, что не особо...
Я там выше указывал, что в немало посадочных прекрасно себя чувствуют в топе.

Вы видимо плохо понимаете, что человек, который не понимает что такое параметр HID и прочее - может неплохо вести сайт, который приносит клиентов.

В итоге вы снизошли мне обьяснить "про мусорные юрлы" сами толком не понимая, что мусорных посадочных там нету. Там все по делу. И ничего в роботс не закрыто, представляете какая дикость? Все же учат роботс создавать;)

Но вы же профи ;)
Вообщем спасибо так или иначе.

[Олег]

https://wordpress.org/support/topic/wordfence_lh1hid/
нус , господин СЕО вам предстоит решить правильно эту траблу с индексацией.

[Александр]

Олег, Господин SEO здесь только вы. Я так.. балуюсь.
За ссылку мерси.

[Олег]

Я не сео, просто 20 лет пилю движки для сайтов. Что там для семантики нужно это к сео, а как нравиться краулерам это уже ко мне.

Answer 2

[Александр]

Итого, результаты следующие.

Плагин Wordfence в режиме Live Traffic (нужная вещь, помогает банить конкретных редисок) "умеет" наплодить то ли кеша то ли еще чего в таком виде:



Что потом видится Google Search Console как страница. Осталось до конца не ясно, в какой момент генерации таких "страниц" гугл бот начал обхаживать 2 конкретные страницы сайта по 10 раз в час.

Решение следующее:
- все левые такие страницы, сгенерированные плагином Wordfence,подаем на исключение из индекса в Search Console
- обновил robots.txt и подал его на индексацию еще раз

После того, как Search Console скушал новый robots, вся эта эпопея с обходом двух страниц тут же закончилась.

p.s. и по неверным догадкам, предложенным здесь же. Нет никакой рекламы и нигде она не крутиться и даже не вертится. Параметр HID в url, который проиндексировал гугл - не относится к рекламе никоим образом.