Как запретить (ограничить) ботов грузить сайт?

Question

[Danil Privedentsev]

Заметил, что за последние 2 месяца резко выросла нагрузка на сайт и основные посетители это Android 13, которые находятся на сайте от 0 до 20 секунд.
Я так понимаю - это могут спокойно делать конкуренты, чтобы понизить сайт в поисковой выдаче?
Как это можно ограничить?

spoiler

в Google Аналитике все чисто

Answer 1

[Михаил Р.]

Заметил, что за последние 2 месяца резко выросла нагрузка на сайт

Если источники трафика на сайт не изменялись - 100% боты.

основные посетители это Android 13, которые находятся на сайте от 0 до 20 секунд

Новичков видно издалека.

Я так понимаю - это могут спокойно делать конкуренты, чтобы понизить сайт в поисковой выдаче?

Не обязательно, но вполне вероятно.

Как это можно ограничить?

Вариантов много (а также разные cdn и капчи, вроде cloudflare, akamai, recaptcha и smartcaptcha), но все это действует лишь на простых и частично, на средних ботов.

Comments

[Danil Privedentsev]

Михаил Р. я почитал разные варианты и большинство сходится к тому, что нужно поставить сервис прослойку.
Кто-то пишется, что если сайт не падает от наплыва пользователей, то и защиту от ботов ставить не надо.
Вы что думаете по этому поводу?
И как все эти сервисы работают с поисковыми ботами, они их тоже глушат капчей?)

[Михаил Р.]

Danil Privedentsev,

большинство сходится к тому, что нужно поставить сервис прослойку

Так и есть.

если сайт не падает от наплыва пользователей, то и защиту от ботов ставить не надо
Вы что думаете по этому поводу?

Причем здесь падение сайта? Вы же пишите про поведенческие факторы, на них и ориентируйтесь, если они просели, то решайте проблему.

И как все эти сервисы работают с поисковыми ботами, они их тоже глушат капчей?)

Конечно нет, т.к. в ином случае, от них смысла не будет.

Answer 2

[Пума Тайланд]

Поставьте антибот капчу от Яндекса из простого

Comments

[Danil Privedentsev]

Пума Тайланд я что-то почитал в отзывах и не особо хвалят капчу от Яндекса :)

[Пума Тайланд]

Danil Privedentsev, по факту топ 1 решение которое вы попробовали за последний год

[Довольный Айтишникъ]

Danil Privedentsev, от гугла лучше, она у многих тупо не открывается. Нет посетителя - нет проблем)))

[Пума Тайланд]

Довольный Айтишникъ, у них нет такого нативного сервиса, это такой аналог клаудфларе от яндекса по сути.

Answer 3

[Довольный Айтишникъ]

Культурным поисковым ботам в файле robots.txt можно указать как часто стоит заглядывать в гости, а вот конкурентам...., если они есть, только капча.