Как заблокировать фейковых google роботов?

dodo512, Большое спасибо, проблема решена, не успел зайти сюда,
сам прописал:
RewriteCond %{HTTP_USER_AGENT} "Googlebot"
все работает, пропускает настоящих десктопов и мобильных гуглоботов, остальных отсекает.
Но ваше предложенное решение очень изящно, оценил.

Как заблокировать фейковых google роботов?

Если указывать вот такой юзер-агент:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(Linux;\ Android\ 6\.0\.[01];\ Nexus\ 5X\ Build/MMB29P\)\ AppleWebKit/537\.36\ \(KHTML,\ like\ Gecko\)\ Chrome/[01][01]9\.0\.6045\.[01]23\ Mobile\Safari/537\.36 \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$

то выдает 500 ошибку.

Как заблокировать фейковых google роботов?

dodo512, Спасибо Вам большое, наверно проблема, по большей части решена.
Вот код, который рабочий:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
RewriteRule ^ - [S=1]
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]

Убрал проверку остальных заголовков, кроме юзерагента.
По большей части в 90% случаев боты, которые приходят не с 66.249 - 403 ответ сервера, иногда проскакивает 301.
Настоящие боты с 66.249 получают 200 ответ сервера, но если заходит мобильный гугл бот, с юзер агентом типа:

66.249.66.9 - - [04/Dec/2023:20:02:55 +0300] "GET / HTTP/1.0" 403 199 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.6045.123 Mobile Safari/537.36 (compatible; Googlebot/2.1; +www.google.com/bot.html)"

По-прежнему блокирует.

Как заблокировать фейковых google роботов?

66.249.66.9 - - [04/Dec/2023:16:13:05 +0300] "GET / HTTP/1.0" 200 10609 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - настоящий гугл бот

176.62.72.69 - - [04/Dec/2023:16:26:16 +0300] "GET / HTTP/1.0" 200 49181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - фейковый

Как видите, увы, юзер агенты не различаются...

Как заблокировать фейковых google роботов?

alexalexes, Вы хотите сказать, если не применять директиву RewriteCond %{REMOTE_ADDR} в этом фрагменте кода, то боты, IP которых начинаются с 66.249. будут получать 200 ответ сервера? То есть RewriteCond %{REMOTE_ADDR} здесь нужно?

Как заблокировать фейковых google роботов?

alexalexes, Дико извиняюсь, я просто не силен в коде, не могли бы Вы подсказать как правильно?
Пробовал также такого вида:
RewriteCond %{REMOTE_ADDR} ^66\.249\.[0-9].\[0-9] [OR]
Тоже не помогает.

Как заблокировать фейковых google роботов?

А поподробней можно?

Как заблокировать фейковых google роботов?

Просто других вариантов пока нет.Код оптимизирован, насколько это возможно.