Как разрешить поисковым роботам иметь доступ к сайту, когда в htaccess стоит запрет на доступ из зарубежных стран?

Question

[Kee_real]

Всех приветствую!

Суть проблемы: у меня на сайте есть файл htaccess, в котором перечислен ряд стран, с которых запрещен доступ сайту "Как метод частичной борьбы со спамом. Через открытую форму обратной связи приходит спам из зарубежных IP"

Но из-за вышеуказанного способа поисковые роботы не могут попасть на сайт, в следствии чего не могу запустить контекстную рекламу от Google Adwards "мой сайт не проходит проверку, из-за недоступности целевого url".

Вопрос: как можно сделать так, чтобы доступ к сайту из-за рубежа имели только роботы google и Яндекс, и больше никто? Заранее благодарен!

Содержание htaccess

GeoIPEnable On
SetEnvIf GEOIP_COUNTRY_CODE CN BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE UA BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE BY BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE FR BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE DE BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE US BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE UM BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE GB BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE UK BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE KZ BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE IT BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE CA BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE LU BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE NO BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE RO BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE IR BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE CL BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE AN BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE NL BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE BG BlockCountry
SetEnvIf GEOIP_COUNTRY_CODE UZ BlockCountry
Deny from env=BlockCountry

Comments

[Pavel Kuzyakin]

простите, но разве не проще форму по-человечески сделать, а не костыли городить?

Answer 1

[dollar]

В форме обратной связи сделать проверку от роботов.

Например

Введите число, сколько будет 2+2:

Проверку ip лучше убрать, т.к. сейчас русские разбросаны по всему миру.

Comments

[Kee_real]

Конечно, можно было бы сделать простую проверку, но формы находятся на лендинге, на который идет трафик с контекстной рекламы. Из-за такой, пусть даже простой проверки - некоторые люди тупо не будут отправлять заявки через формы, потому что лень.

[Pavel Kuzyakin]

Kee_real, есть и невидимые варианты, которые не требуют от пользователей действий

[Kee_real]

Pavel Kuzyakin, Павел, можете подсказать где найти такие варианты?

[dollar]

Например, можно так схитрить.
Создать скрытое поле.
Если пользователь наводит мышь на кнопку «Отправить», записывать в это поле секретный код.

Думается, что роботы не умеют наводить мышь, даже если поддерживают скрипты.

[Алекс Глебов]

Можно добавить капчу если пользователь из-за рубежа

[Kee_real]

dollar, дельная мысль! Правда с js придется побадаться...Но это уже вопрос..

Благодарю, за идею! Буду думать.

[Pavel Kuzyakin]

Kee_real, например, у Гугла.

Answer 2

[Dimonchik]

Гугл ходит из США, Яндекс из России и Турции

если они разрешены - можно почти не париться

проверки Гугла бывают из Индии и Филиппин, например

Comments

[Kee_real]

В том и дело, что основная часть спама приходит с американских ip, потому и поисковый робот не может выполнить проверку доступности сайта..

[Dimonchik]

тогда проверять что IP гугловские

[Kee_real]

dimonchik2013, Нужно знать, как сделать такое исключение

[Dimonchik]

простым htaccess не выйдет

[Kee_real]

dimonchik2013, думаю, если в htaccess есть команда Deny from env=BlockCountry, которая запрещает перечисленным ip(странам) доступ, то и есть та которая разрешает делать исключения

[Dimonchik]

есть, можно попробовать allow все Ипшники гугла

но обычно проверяют reverse DNS Гуглбота

Answer 3

[Олег]

уберите глобальный запрет.
Вы же просто хотите, чтобы обратка не работала.

как и сделайте проверку ip в самом скрипте.