Как запретить поисковые боты на сайт?

Question

[Петро Бойко]

Как запретить поисковых ботов на сайте и разрешить нужных , накручивают статистику без толку , я нашел несколько решений но всеравно зараза вылазит кликает по сылкам

Answer 1

[Boris Köln]

robots.txt

Comments

[Петро Бойко]

да не помогает или что в robots.txt нужно вписать, может я чегото незнаю

[Boris Köln]

lmgtfy.com/?q=robots.txt

[Петро Бойко]

Boris Korobkov, ))

[Петро Бойко]

Boris Korobkov, ну вот ишо здесь не так

User-agent: Yandex

User-agent: YandexBot

User-agent: YandexMetrika

User-agent: Googlebot

User-agent: Bingbot

User-agent: Slurp

User-agent: Mail.Ru

User-agent: StackRambler

User-agent: *

Crawl-delay: 10

Visit-time: 0100-0800

[Boris Köln]

Здесь все неправильно.
1. Сначала зачем-то перечисление конкретных юзер-агентов, а потом добавление всех.
2. Нет запрета (Disallow) остальным. Подсказать, как гуглить?
3. Большинство посетителей сайта из Великобритании? Если нет, то почему 0800 GMT (полдень в Москве)?
4. Что это за статистика, которая не умеет отличать ботов от людей? Выкиньте ее и прикрутите нормальную
5. Поисковики не так уж и часто заходят на говносайт. А остальным ботам пофигу на все ваши потуги с robots.txt - они их спокойно обойдут. Вместо борьбы с "ветряными мельницами" наймите нормального программиста, который напишет сайт так, чтобы тот не падал при сотне запросов в час.
6. Для защиты от DOS-атак можно использовать Cloudflare.