YandexAccessibilityBot не подписывает себя для обратного запроса?

Question

[Александр Апокин]

Столкнулся с необходимостью отлова парсеров сайта.
Не хотелось бы случайно забанить поисковых роботов.
Написал скрипт, который анализирует поведение запросов с IP адреса.
Помечаю роботов при помощи обратного запроса как здесь

В логах есть несколько IP c user_agent YandexAccessibilityBot, но не подтверждены обратным запросом.
На данный момент нет ни одного подтвержденного IP с user_agent YandexAccessibilityBot
Боты, которые нормально определились:
YandexBot/3.0
YandexMobileBot/3.0
YandexImages/3.0
и еще целая куча

YandexAccessibilityBot не определяется в принципе обратным запросом?

Использую PHP
$ptr=gethostbyaddr($ip);
gethostbyname($ptr);

ip которые подписались, но не подвердились обратным запросом:
178.154.155.102
178.154.155.101
5.45.211.60
5.45.216.109
5.45.216.110
5.45.211.61

Пробивая ip через сервисы здесь здесь получаем информацию, что ip принадлежат яндексу.
Что можете сказать по этой ситуации?

Если у вас подтвердился ip с этим ботом, то скиньте ip.

Answer 1

[Александр Апокин]

На данный момент учитываю, что возможно YandexAccessibilityBot либо намерено, либо из-за бага себя не подписывает для обратного запроса. Используя сервис помечаю эти ip как ботов яндекса.
Проблема на данный момент выявлена только с этим ботом. Все остальные боты яндегса гугла маила и т.п. определились нормально.

Как я понял ситуация нормальная и такие боты не учитываются в поиске. Кто что думает?

Ответ из яндекса:
Здравствуйте!

У поисковой системы очень большое число различных роботов, к тому же другие различные сервисы Яндекса также могут посещать сайты и совершать к ним запросы. Со списком роботов поисковой системы вы можете ознакомиться здесь:
https://yandex.ru/support/webmaster/robot-workings... .
При этом посещения таких роботов действительно не должны влиять на отображение сайта в поиске. Например, некоторые роботы особым образом интерпретируют robots.txt, поэтому запреты на посещение страниц при помощи директивы Disallow могут ими игнорироваться. Однако попасть в поиск запрещенные ссылки не должны.

Указанный ранее IP-адрес не принадлежит индексирующему роботу, поэтому документ страницы, полученный на запрос, не должен попасть в результаты поиска.

Answer 2

[Анатолий Денисов]

Специально посмотрел, все запросы YandexAccessibilityBot приходят с IP адресов в разных подсетях. У всех IP адресов обратная зона DNS вида XX-XXX-XX-XXX.spider.yandex.com. Так что вполне даже определяется.

Comments

[Александр Апокин]

Спасибо за ответ. Буду смотреть что за странности у меня происходят.
Скиньте, пожалуйста, хотя бы один IP который у вас подписался в user_agent как YandexAccessibilityBot и подтвердился через обратный запрос.

[Анатолий Денисов]

141.8.142.113
37.9.113.81

[Александр Апокин]

Анатолий Денисов, Спасибо. Буду смотреть.

[Александр Апокин]

Анатолий Денисов, добавил IP в вопрос и сервисы, которые говорят, что это все-таки яндекс. Что можешь сказать по этому вопросу?

[Анатолий Денисов]

Могу сказать что метод проверки рекомендован самим Яндексом. Но их же собственные IP адреса не проходят проверку. Здесь вполне уместно было бы обратиться в Яндекс.