Смысл в том, что можно попробовать сначала с robots.txt . Для зловредов и игнорирующих эти указания это, конечно, бесполезно. Зато если бот следует указаниям для роботов, то он может отпасть сам.
Анастасия
Ключи API нужно маскировать перед публикацией. Это же элементарные правила безопасности. Этот ключ уже утёк в интернет и может быть кем-то использован.