Переходы на сайт с диапазонов Гугла с одним и тем же браузером Mozilla/5.0 (Linux; Android 10; K), спам или нет?

Question

[mamontionk]

Несколько дней назад на сайт пошли посетители с IP диапазонов Гугла с одним и тем же браузером Mozilla/5.0 (Linux; Android 10; K).
Рефером стоит всегда сам Google. Страницы сайта, на которые заходят разные. Мне не нравится, что такие посетители делают только один заход на сайт и всё, переходов по сайту не делают.
Решил их половить самодельной как бы капчей. Такому посетителю отдаётся страница с ссылкой на эту же страницу и пустым фреймом. При этом такой заход заносится в лог со всеми атрибутами, с IP, браузером и страницей запрашиваемой. При клике на ссылку при помощи JS во .src фрейма передаётся служебный адрес этого же сайта при посещении которого запускается функция которая записывает IP кликнувшего в базу.
Вот тут и начался взрыв мозга.
В первую базу посетителей, которым отдаётся страница с капчей попадают только IP диапазонов Гугла. А в другой базе, которая пишет из фрейма IP кликнувших на ссылку, на странице с капчей, оказываются совершенно другие, нормальные IP мобильных операторов и обычные мобильные браузеры типа Mozilla/5.0 (Linux; Android 10; M2010J19CG), Mozilla/5.0 (Linux; Android 13; M2101K7BNY).
При сведении логов и фильтре по странице обращения как раз получается, что первый заход происходит с диапазона IP Google, а капчу проходит уже другой IP нормальный!
Сделал другую капчу, обычную с передачей данных в $_POST. При прохождении капчи в переменную сессии вписывается произвольное значение, которое потом отслеживается чтобы понять, что это один и тот же посетитель. Уже сутки эту капчу никто не может пройти из тех, кто приходит с диапазонов Гугла. Там нужно просто написать в поле любой текст и нажать на кнопку.
Сайт самописный на PHP. Переменные среды получаю через getenv.
Есть ещё несколько сайтов похожей тематики. На них вообще нет и не было посетителей с таких диапазонов IP.
Может кто-то подсказать как так происходит?
Это нормальные посещения или спам?

Answer 1

[rPman]

Гугловские ip адреса - это, например гугловский режим сжатия трафика в браузерах android и гугл хром на десктопе, попробуй сам включи ее и зайди на сайт, что увидит твой сайт

Рефером стоит всегда сам Google.

google.com или google.com?....? это ключевой вопрос, с поисковой системы к тебе приходят или как? Просто так с сайта google.com легальные пользователи зайти не смогли бы, там нет ссылки на твой сайт.

Сам факт того что кто то заходит на одну страницу и больше ничего не делает это плохо. Режим прокси не убирает реферер. Если у тебя кто то кликает (ссылка клика с уникальным id надеюсь) сидя с гугловского диапазона следующую страницу открывает (ты же говорил что у тебя такие вообще по сайту не ходили, а появилась 'капча' сразу пошли) уже не нормальное поведение.

Проведи эксперимент с гугловским браузером в режиме сжатия трафика... если это его поведение то можешь убрать беспокойство, иначе это левые заходы. Вопрос только зачем кому то ходить на твой сайт кроме как накрутки посещений (подумай, кому это выгодно)

Comments

[mamontionk]

Спасибо большое за идеи!!!

Answer 2

[Василий Банников]

Невозможно сказать, вредный это трафик или нет - нужно больше статистики по поведению.
Что конкретно вас беспокоит в этих заходах?
Они портят SEO?
Они создают избыточную нагрузку?
Такие пользователи оставляют спам в комментариях?

Comments

[mamontionk]

Портят SEO. Взрывают мозг разными IP при заходе и клике на ссылке.
Необходимо понимание происходящего, чтобы настроить спам-фильтры и не блокировать нормальных посетителей.

[Василий Банников]

mamontionk,

Взрывают мозг разными IP при заходе и клике на ссылке.

Ну не смотри на них, тогда не будут взрывать.

Портят SEO

Как это проявляется? Как ты определил, что в этом виноваты именно эти заходы?

[mamontionk]

Не те вопросы.
У вас есть понимание, как так может происходить с разными IP? Это ключевое.
Если нет - то спасибо. Я прошу ответов или хотя бы предположений, а не новых вопросов.
А "ну не смотри" это как "беспокоишься? - не беспокойся"

[Sanes]

mamontionk, да мало ли кто может заходить. Продавайте тогда входные билеты. А лучше разберитесь, как они вам мешают.

[AUser0]

Василий Банников, Sanes, не, ну вы тоже посоветовали "если страшно - втыкай голову в песок, там не страшно".

mamontionk, такое ощущение, что Google в первом запросе выступает как банальный proxy, отдаёт страничку через себя. И всё это - на мобильниках. Может они решили начать эру безопасного мобильного сёрфинга? Или ускорение доступа за счёт кэширования на своих мощностях? Или вот такой вот анонимайзинг от "корпорации добра"? Или во всех рекламных div-ах засовывать свою рекламу? Или ещё что, да миллион вариантов же...

[mamontionk]

AUser0, да, спасибо..
Именно к этому выводу я и прихожу, но пытаюсь найти побольше подтверждений. Вот и прошу помощи, идей. Может кто что накидает или сталкивался с подобным. Одна голова хорошо а 100 лучше.

[Василий Банников]

mamontionk,

У вас есть понимание, как так может происходить с разными IP? Это ключевое.

Я не видел ваши логи, а со слов вообще не понятно, как это проявляется.
Но, например, может быть сначала вас гугл и индексирует как-то, а потом уже открывает пользователь (например переходит по ссылкам или жмёт что-то типа "показать оригинал")?

Answer 3

[VVinner07]

Проблема от части такого же плана. Боты идут с яРК у всех ботов начало юзер агента схожее "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36" , различия только в версиях.
добавление в .htaccess строк SetEnvIfNoCase User-Agent "^Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36" bad_bot проблему решало до вчерашнего дня. Сегодня дикий наплыв.
Други, что делать?

Answer 4

[Андрей]

Это не боты, это новые приколы от Гугла: https://developer.chrome.com/blog/user-agent-reduc...

Answer 5

[Sam1111]

Ребята надеюсь на вашу помощь, я не специалист, я простой пользователь, запустили посковую рекламу Google, подключили защиту от clickcease.com всего по рекламе посещений 240.

И по их отчету вижу, что большую часть посещений делали два USER AGENTа

69 раз, это 30%:
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Mobile

и 45 раз из 240:
Mozilla/5.0 (iPhone; CPU iPhone OS 17_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Mobile/15E148 Safari/604.1

IP адреса все разные.
Я могу полагать по индикатору USER AGENT, что это был один и тот же пользователь ? Можно ли заблокировать его по этому индикатору ? посещение нашего сайта или скликивание рекламы имею ввиду.

clickcease.com судя по всему блокирует лишь по IP адресу, но ведь его легко менять, использование VPN тоже блокируется. Может подскажете кто мне может помочь с этим вопросом ?