Летит бот-трафик с разных сайтов?

Question

[Александр Базаров]

Всем привет, очень нуждаюсь в совете.

Неделю как на мой сайт летит говнотрафик из разных сайтов, по вебизору вижу - боты с посещением до 20-30 секунд, летит трафик только на главную без дальнейших действий. Смотрел по логам, все IP адреса принадлежат мобильным операторам, что усложняет задачу. Также визит с каждого сайта происходит от 1 но не более 2х раз (сразу).



Смотрел где / кто расположен, у всех хостинги разные. Блокировать в .htaccess каждый сайт смысла нет, т.к. посещения разовые и не повторяются со временем. Также ASN у всех разный получается, IP адреса не повторяются от слова вообще - каждое посещение, разный IP и ASN.

Скину в целях примера (PJSC MegaFon):
109.63.194.199 - - [19/Feb/2024:07:20:25 +0300] "GET / HTTP/1.1" 200 31134 "https://zavtra.ru/" "Mozilla/5.0 (Linux; arm_64; Android 10; SM-G973F) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.7100.173 Mobile Safari/537.36"

По логам видно, что был заход, без дальнейших движений и попытки шерстить по внутренней структуре сайта.

Ссылки не покупал, накрутку тоже - устраивает органика вполне. Ребят, как найти источник злодеяния? Кстати, я заходил на эти самые говносайты и линкбэк я на свой сайт не обнаружил - вероятно их используют как рефер может быть или просто перенаправление. Также сразу вызывает подозрение, что IP адреса - все от мобильных операторов.

Какое может быть решение? ХЕЛБ МИ ПЛС )
Кроме подключения CF, какие способы есть отсылать ботов к примеру на несуществующий IP адрес - пущай там потусят? Может быть какую-то проверку сделать на Java script но боюсь за SEO, хотя сейчас из-за трафика этого я начал падать в позициях. Голова кипит, решение додумать не могу, вы если что задавайте попутные вопросы в комментариях, может кто сталкивался с этим вопросом.

Заранее всем спасибо

Comments

[Макс]

Мы с ботами поведенческих факторов боремся так.
При первом заходе на сайт, пользователь с задержкой 1-2 секунды открывается поп-ап окно в котором есть простая капча: надо выбрать фигуру которую просит система. Если пользователь выбрал правильную фигуру, загружаются счетчики статистики, если неправильную, окно закрывается и счетчики не загружаются.
В итоге, в метрике у нас улучшились показатели, существенно выросло количество просмотров страниц, уменьшилось на 20% количество отказов. Оно до этого переваливало за 40% с открытием страницы до 9 секунд. Смотрели через вебвизор, все боты.
Этот способ позволил не учитывать ботовый трафик. Дополнительно еще отфильтровали в Cloudflare.

Answer 1

[Everything_is_bad]

Какое может быть решение?

забить, а если это вызывает проблемы с производительностью, то заняться оптимизацией кода сайта.

Answer 2

[Михаил Р.]

Ребят, как найти источник злодеяния?

Искать ничего не нужно, нужно блокировать то, что возможно заблокировать с минимальными издержками. Самый быстрый вариант - CloudFlare, гуглить "CloudFlare Bot Blocking guide". Сразу говорю, CloudFlare слегка просаживает позиции сайта за счет увеличения времени доступа к контенту сайта, НО! Если удастся отфильтровать большинство ботов, то тем самым Вы поднимите ПФ сайта, и можно рассчитывать на то, что сайт как минимум вернется на изначальные позиции, а может и выше.

Кстати, я заходил на эти самые говносайты и линкбэк я на свой сайт не обнаружил - вероятно их используют как рефер может быть или просто перенаправление.

Бот может создавать ссылку в dom страницы и кликать по ней. Анкор ссылки может быть разным, но видел следующие варианты: "сайт продает наркотические вещества", "сайт обманывает пользователей", "сайт крадет данные кредитных карт" итп. Как Вы понимаете, на этом сайте стоят счетчики всех популярных ПС, которые видят клик по ссылке с этим анкором. Насколько эффективно ПС могут бороться с таким "SEO" - это другой вопрос.

Также сразу вызывает подозрение, что IP адреса - все от мобильных операторов.

Потому что это самый эффективный вариант маскировки ботов, особенно, если в Вашей тематике итак было 80%+ мобильных ip.

Answer 3

[Макс]

Это способ рекламы сайтов. Вы видите источник, переходите туда и даете им трафик. Если cloudflare используете, боты хорошо блокируются.

Answer 4

[Николай Дубков]

Если ваш проект работает на nginx, можно попробовать установить дополнительный модуль для борьбы со спамом, например: nginx-ultimate-bad-bot-blocker. С помощью него можно блокировать ботов не только по IP, но и заголовкам HTTP: Referer, User-Agent, etc. Настройте правила, согласно документации, и приготовьтесь снижению вредного трафика.