Короче, вопрос в другом, почему и главное чем отличается поведение хостинга/логирования при вариантах:
1.
deny from 77.168.252.130 #javabot
и
2.
#javabot
deny from 77.168.252.130
А может он и нормально страницы получал. Но почему-то в лог его посещения не записывались.
Такое предположение возникло потому что обычно при недоступности сайта — позиции в гугл несколько проседают. А здесь — неделю не заходил, а позиции в основном более-менее на месте.
Я час сидел баловался — «комментарий в конце строки» — нет робота, «комментарий с новой строки» — робот пришёл (в течение 1-2х минут). Совпадение исключено т.е.
Может он 403 и получал (хостинг шаред, не знаю как у них логирование настроено, может 403 в лог не пишется).
Только всё равно непонятно. почему он его получал.