Это так называемая "защита" от перегрузки сайта роботами индексаторами.
Просто человек не знал про директиву
Crawl-delay в robots.txt и наговнокодил.
Просто удалите этот код, так как он может вызывать выпадение из индекса всех страниц с вероятностью 50%.
Фактически этот код возвращает заголовок 404 (страница не найдена) для поисковых роботов Гугла и Яндекса. Существует еще примерно тысяча разных червей, которые могут ходить по сайту, но квалификации автора не хватает для их обнаружения.