Ко мне приходят боты?

Question

[Дмитрий Скогорев]

Смотрю яндекс метрику.
Уже который день, практически постоянно вижу заходы с
priceg.com
cenoval.ru
1-2 захода с единичными просмотрами и 100% отказами
что это может быть?
боты заходят для того чтобы я обратно сходил посмотреть?

Answer 1

[facir]

Есть много разных ботов, одни просто сканируют сайты для анализа посещаемости, чтобы потом составлять таблицу рейтинга, другие просто заносят информацию, что такой сайт есть, так же есть те, которые сохраняют странички типа webarchive, чтобы можно было просматривать изменения за 2-6 лет например. Так же кто то создает свои поисковики и заносит в базу существующие сайты.
Но так же встречал ботов, которые парсили страницы с уникальным контентом, чтобы размещать его у себя.
Они не опасны, просто собирают инфу.
Если данная ситуация напрягает, их всегда можно заблокировать, прописав в файле .httaccess правила
Например:
Где "^Baiduspider" - это название бота

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "^priceg.com" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

Answer 2

[ankfrv]

Похожая проблема, не сильно масштабная, но есть. Просто ставлю такие домены в фильтр на Метрике.

Comments

[facir]

конечно, такие боты создаются ежедневно.
Если сайт серьезный и есть достойные конкуренты, то конечно лучше блокировать таких ботов, ибо они могут хорошо спамить. Это делается для того, чтобы забить канал сайта. Например, если создадут 50 ботов, которые будут каждую секунду будут сканировать все страницы, то сайт может глючить, хотя на большенстве хостингов стоят антиботы. Я нашел в интернете список из 100 популярных спам ботов и забил в htaccess.

[ankfrv]

facir поэтому и лайкнул ваш ответ — мне мой метод после него показался допотопным.

Answer 3

[Freeman]

Аналогичный вопрос с ответом.