@eresik

По поводу htaccess

Недавно по своему недосмотру/незнанию забанил робота гугла.
Только не очень понял как это произошло.
Не люблю когда не понимаю «почему так», поэтому спрашиваю у здесь присутствующих.

Добавил в htaccess строчку
deny from 77.168.252.130 #javabot

Причём этот ip не является ip гуглбота
Смотрю — неделю гугл не появляется на сайтах…
Начал разбираться и удивился очень.

Как я уже сейчас понял — комментарии (#) должны начинаться с новой строки.
Т.е. делаю так:
#javabot
deny from 77.168.252.130
и гуглбот тут же появляется в логах (с другим айпишником)

Так вот, вопрос, а чего происходило-то когда в htaccess была строка
deny from 77.168.252.130 #javabot ????


Ошибки не выскакивали.
Небольшая просадка посещаемости вполне объяснялась праздничными днями.
  • Вопрос задан
  • 2429 просмотров
Пригласить эксперта
Ответы на вопрос 3
sledopit
@sledopit
$ curl ifconfig.me
X.X.X.231
$ ssh web 'echo "deny from X.X.X.230 #javabot" >> /var/www/site.com/.htaccess'
$ wget -O /dev/null site.com --user-agent="javabot"
HTTP request sent, awaiting response... 200 OK
2011-11-09 12:34:00 (1.22 MB/s) - `/dev/null' saved [2168/2168]
$ wget -O /dev/null site.com --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
HTTP request sent, awaiting response... 200 OK
2011-11-09 12:35:05 (621 KB/s) - `/dev/null' saved [2168/2168]

Если я напишу свой ip туда в одно строке с комментарием, то всё равно всё будет отлично работать.
Ответ написан
@YourChief
я думаю, что это никак не связано. если бы гуглбот приходил к вам, то он получал бы 403 и записывался бы в журнал. а вы говорите, что не появлялся совсем. значит не хотел, вот и всё.
Ответ написан
@eresik Автор вопроса
Да весь прикол похоже в том что НЕВАЖНО какой ip написан
Пишешь
deny from X.X.X.X #bla-bla-bla — нет гуглбота

Пишешь
#bla-bla-bla
deny from X.X.X.X — нет гуглбота

(x — любые наверное)

Шайтан, блин.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы