Что делать, если YandexBot/3.0 шлет запросы с 1251 url ecnode?

Question

[Andry]

Повелся на сайт ходить

[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

И задавать вопросы типа [QUERY_STRING] => %CF%EE%EB%E8%ED%E0

Что является win-1251 url кодированное слово "Полина". Вот только php считает, что это utf-8. Разворачивает с $_REQUEST нечто невообразимое и СУБД сходит с ума

Error:
    Illegal mix of collations (utf8_general_ci,IMPLICIT) and (utf8mb4_0900_ai_ci,COERCIBLE) for operation '='

Кодировка подключения utf8mb4, кодировка поля utf8.

Подскажите, пжлст, есть ли вариант образумить бота какими-нить настройками на сайте и как вобоще быть ?

Вижу вариант, как мне видится через одно место, смотреть на юзерагент и по-особому обрабатывать от него запросы. Но это жуть как неудобно.

Comments

[Дмитрий]

robots.txt

[Andry]

Дмитрий, догадывался, что там можно колдонуть. Подскажете детали? Просто забанить его или указать кодировки можно?

[Дмитрий]

Andry, https://yandex.ru/support/webmaster/controlling-ro...

[Andry]

Дмитрий, спасибо за ссылку. Последний вопрос: вы понимаете, что ответ-сылка "там написано дофига всего, ты изучи это все и где-то там, мелким шрифтом, может быть, ты найдешь ответ на свой вопрос" больше похож на хренпоймичто, чем на ответ?

Я не прошу уточнений - вижу, что вам не хочется их предоставить. Плохое настроение? Критические дни? Что вам помешало добавить пару слов в ответ "можешь забанить поисковик, смотри по ссылке" или "по ссылке есть вариант. как указать настройку такую и такую - тебе поможет"?

Если в ответ на свой вопрос ты читаешь поучения, какой ты ленивый дибил, если тебя послали вдаль читать доки, то знай, серфер, ты в рунете :)

[dodo512]

Andry, если просто проверить что строка действительно в utf8 https://www.php.net/manual/ru/function.mb-check-en...

$query = urldecode($_SERVER['QUERY_STRING']);
if (!mb_check_encoding($query, 'UTF-8')) {

Если строка не utf8, то дальше или сообщить об ошибке или попытаться перенаправить на правильный адрес.

[Дмитрий]

Andry, я бы посоветовал указать не индексировать вашу злополучную ссылку

[Andry]

Спасибо за ответы. Чудо-рецепта не оказалось. Видимо, робот приходит на сайт по древним ссылкам десятилетней давности, когда сайт был еще на 1251.

Отключу нафиг url в robots.php

[Vamp]

Andry, не нужно отключать. Соберите список таких ссылок и сделайте 308 редирект на правильную версию. Так вы не потеряете трафик из поисковика и с других сайтов, на которых расположены ваши старые ссылки.