Как заблокировать фейковых google роботов?

Question

[nick1403]

Добрый день! Нашел вот такой кусок кода для блокировки фейковых гугл-ботов, но, к сожалению блокирует, также с IP адресов, начинающихся c 66.249.
Не могли бы подсказать где может быть ошибка в коде?

# Validate Googlebots
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{HTTP:Accept} ^\*/\*$
RewriteCond %{HTTP:Accept-Encoding} ="gzip,deflate"
RewriteCond %{HTTP:Accept-Language} =""
RewriteCond %{HTTP:Accept-Charset} =""
RewriteCond %{HTTP:From} ="googlebot(at)googlebot.com"
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
# Optional reverse-DNS-lookup replacement for IP-address check lines above
# RewriteCond %{REMOTE_HOST} ^crawl(-([1-9][0-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])){4}\.googlebot\.com$
RewriteRule ^ - [S=1]
## Block invalid Googlebots
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]
# END sending now 403 to fake Googebots

Comments

[Everything_is_bad]

причина хотелки? если нагрузка, то лучше потратить время на оптимизацию кода, чем на эту ерунду.

[nick1403]

Просто других вариантов пока нет.Код оптимизирован, насколько это возможно.

Answer 1

[Roman]

Не могли бы подсказать где может быть ошибка в коде?

RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]

Comments

[nick1403]

А поподробней можно?

[alexalexes]

А чего непонятно:

Если REMOTE_ADDR начинается с 66.249.некоторое-подмножетсво-значений-в-третьем-компоненте-IP.призвольное-значение-четвертого-компонента-IP ИЛИ

[nick1403]

alexalexes, Дико извиняюсь, я просто не силен в коде, не могли бы Вы подсказать как правильно?
Пробовал также такого вида:
RewriteCond %{REMOTE_ADDR} ^66\.249\.[0-9].\[0-9] [OR]
Тоже не помогает.

[alexalexes]

Имеется ввиду, что если не будете использовать правило:

RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]

то оно не будет принимать участие в этом:

к сожалению блокирует, также с IP адресов, начинающихся c 66.249

[nick1403]

alexalexes, Вы хотите сказать, если не применять директиву RewriteCond %{REMOTE_ADDR} в этом фрагменте кода, то боты, IP которых начинаются с 66.249. будут получать 200 ответ сервера? То есть RewriteCond %{REMOTE_ADDR} здесь нужно?

[Roman]

nick1403, почему вы решили что у ботов только ip который начинается с 66.249 ? Просто удалите эту строчку и все

[dodo512]

Просто удалите эту строчку и все

Роман Страх, там два RewriteRule.
Первое правило разрешающее RewriteRule ^ - [S=1]
И второе запрещающее RewriteRule ^ - [F] оно блокирует всё что не попало в первое.
Если из разрешающего правила убрать RewriteCond %{REMOTE_ADDR} ^66\.249\., но оставить RewriteCond %{REMOTE_ADDR} ^216\.239\., то блокировать подсеть 66.249 продолжит.

[dodo512]

Нужно выяснить по какому критерию не проходят нужные боты.
Там проверяется ещё 6 различных HTTP заголовков.
Для начала нужно подробнее смотреть какой User-Agent у ботов с 66.249 совпадает ли он с шаблоном.
Затем проверить и остальные HTTP заголовки.

[nick1403]

66.249.66.9 - - [04/Dec/2023:16:13:05 +0300] "GET / HTTP/1.0" 200 10609 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - настоящий гугл бот

176.62.72.69 - - [04/Dec/2023:16:26:16 +0300] "GET / HTTP/1.0" 200 49181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - фейковый

Как видите, увы, юзер агенты не различаются...

[nick1403]

dodo512, Спасибо Вам большое, наверно проблема, по большей части решена.
Вот код, который рабочий:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
RewriteRule ^ - [S=1]
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]

Убрал проверку остальных заголовков, кроме юзерагента.
По большей части в 90% случаев боты, которые приходят не с 66.249 - 403 ответ сервера, иногда проскакивает 301.
Настоящие боты с 66.249 получают 200 ответ сервера, но если заходит мобильный гугл бот, с юзер агентом типа:

66.249.66.9 - - [04/Dec/2023:20:02:55 +0300] "GET / HTTP/1.0" 403 199 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.6045.123 Mobile Safari/537.36 (compatible; Googlebot/2.1; +www.google.com/bot.html)"

По-прежнему блокирует.

[nick1403]

Если указывать вот такой юзер-агент:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(Linux;\ Android\ 6\.0\.[01];\ Nexus\ 5X\ Build/MMB29P\)\ AppleWebKit/537\.36\ \(KHTML,\ like\ Gecko\)\ Chrome/[01][01]9\.0\.6045\.[01]23\ Mobile\Safari/537\.36 \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$

то выдает 500 ошибку.

[dodo512]

RewriteCond TestString CondPattern [flags]
nick1403, Apache просто делит строку по пробелам и если в TestString или CondPattern пробел не будет экранирован \, то Apache неверно раделит строку и вместо [flags] будет мусор.
Тут Safari/537\.36 \(compatible пробел без \.
Шаблон можно заключить в кавычки '...' или "...".
Тогда не нужно экранировать многочисленные пробелы.

[dodo512]

nick1403, если подумать то вот это

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
RewriteRule ^ - [S=1]
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]

можно упростить до

RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteCond %{REMOTE_ADDR} !^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\.
RewriteCond %{REMOTE_ADDR} !^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
RewriteRule ^ - [F]

Тут не нужно указывать точный юзер агент для мобильного гугло бота.
Достаточно поиска упоминания строки "Googlebot".

[nick1403]

dodo512, Большое спасибо, проблема решена, не успел зайти сюда,
сам прописал:
RewriteCond %{HTTP_USER_AGENT} "Googlebot"
все работает, пропускает настоящих десктопов и мобильных гуглоботов, остальных отсекает.
Но ваше предложенное решение очень изящно, оценил.