Указывать в файле robots.txt правила поведения ботов на сайте - это для законопослушных ботов типа Яндекса. Гораздо больше ботов, которые на robots.txt плюют, потому что robots.txt - не более, чем рекомендация.
С не слушающимися ботами надо бороться строгими запретами, например. через файл .htaccess (Apache) или nginx.conf. В них можно запрещать посещение по ip, агенту, адресу запроса...