Недавно по своему недосмотру/незнанию забанил робота гугла.
Только не очень понял как это произошло.
Не люблю когда не понимаю «почему так», поэтому спрашиваю у здесь присутствующих.
Добавил в htaccess строчку
deny from 77.168.252.130 #javabot
Причём этот ip не является ip гуглбота
Смотрю — неделю гугл не появляется на сайтах…
Начал разбираться и удивился очень.
Как я уже сейчас понял — комментарии (#) должны начинаться с новой строки.
Т.е. делаю так:
#javabot
deny from 77.168.252.130
и гуглбот тут же появляется в логах (с другим айпишником)
Так вот, вопрос, а чего происходило-то когда в htaccess была строка
deny from 77.168.252.130 #javabot ????
Ошибки не выскакивали.
Небольшая просадка посещаемости вполне объяснялась праздничными днями.
$ curl ifconfig.me
X.X.X.231
$ ssh web 'echo "deny from X.X.X.230 #javabot" >> /var/www/site.com/.htaccess'
$ wget -O /dev/null site.com --user-agent="javabot"
HTTP request sent, awaiting response... 200 OK
2011-11-09 12:34:00 (1.22 MB/s) - `/dev/null' saved [2168/2168]
$ wget -O /dev/null site.com --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
HTTP request sent, awaiting response... 200 OK
2011-11-09 12:35:05 (621 KB/s) - `/dev/null' saved [2168/2168]
Если я напишу свой ip туда в одно строке с комментарием, то всё равно всё будет отлично работать.
я думаю, что это никак не связано. если бы гуглбот приходил к вам, то он получал бы 403 и записывался бы в журнал. а вы говорите, что не появлялся совсем. значит не хотел, вот и всё.
Я час сидел баловался — «комментарий в конце строки» — нет робота, «комментарий с новой строки» — робот пришёл (в течение 1-2х минут). Совпадение исключено т.е.
Может он 403 и получал (хостинг шаред, не знаю как у них логирование настроено, может 403 в лог не пишется).
Только всё равно непонятно. почему он его получал.
Может он 403 и получал (хостинг шаред, не знаю как у них логирование настроено, может 403 в лог не пишется).
ну так проверьте же. запретите себе, зайдите и посмотрите. или же поищите данные по уже запрещённому javabot`у.
робот пришёл (в течение 1-2х минут). Совпадение исключено т.е.
вы думаете он к вам непрерывно каждые три минуты ломится?
А может он и нормально страницы получал. Но почему-то в лог его посещения не записывались.
Такое предположение возникло потому что обычно при недоступности сайта — позиции в гугл несколько проседают. А здесь — неделю не заходил, а позиции в основном более-менее на месте.
Короче, вопрос в другом, почему и главное чем отличается поведение хостинга/логирования при вариантах:
1.
deny from 77.168.252.130 #javabot
и
2.
#javabot
deny from 77.168.252.130
