Робот - это браузер. Разницы нет никакой.
Если все читают, а робот нет - это проблемы либо робота, либо криворукого хостера, который почему-то не пускает определенные браузеры.
Для исправления проблемы вместо невнятного "ниможит, насяльника" нужно четкое описание проблемы - айпи робота, юзерагент, сообщение об ошибке, точное время запроса. Потом с этими данными смотреть логи.
Хотя бы какая ошибка выдается, этот банк может сказать? 404? 403? 500? Робот взрывается и убивает осколками все живое врадиусе 5 метров?