На данный момент учитываю, что возможно YandexAccessibilityBot либо намерено, либо из-за бага себя не подписывает для обратного запроса. Используя
сервис помечаю эти ip как ботов яндекса.
Проблема на данный момент выявлена только с этим ботом. Все остальные боты яндегса гугла маила и т.п. определились нормально.
Как я понял ситуация нормальная и такие боты не учитываются в поиске. Кто что думает?
Ответ из яндекса:
Здравствуйте!
У поисковой системы очень большое число различных роботов, к тому же другие различные сервисы Яндекса также могут посещать сайты и совершать к ним запросы. Со списком роботов поисковой системы вы можете ознакомиться здесь:
https://yandex.ru/support/webmaster/robot-workings... .
При этом посещения таких роботов действительно не должны влиять на отображение сайта в поиске. Например, некоторые роботы особым образом интерпретируют robots.txt, поэтому запреты на посещение страниц при помощи директивы Disallow могут ими игнорироваться. Однако попасть в поиск запрещенные ссылки не должны.
Указанный ранее IP-адрес не принадлежит индексирующему роботу, поэтому документ страницы, полученный на запрос, не должен попасть в результаты поиска.