Защита от спамеров?

Question

[Влад]

Пытаюсь уменьшить количество спамерских регистраций на сайте.
Заметил следующее:
- когда регистрируюсь я сам, то $_SERVER помимо прочего содержит следующие данные:

[HTTP_ACCEPT] => text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
[HTTP_COOKIE] => dle_newpm=0; _ym_uid=145052032953; PHPSESSID=n2do411r6h5rrk5; _ym_isad=0; DreamCashID=2x9zjnb78b2fw4cxakkf39kw525u; _gat=1; MarketGidStorage=%7B%223A%7B%22svspr%22%3A%22https%3A%2F%2Fwww.google.ee%2F%22%2C%22svsds%22%3A3%2C%22TMTQ%22C595190%22%3A%7B%22page%22%22time%22%3A1458034%7D%7D; _ga=GA139895609; _ym_visorc_1w

А когда регаются "боты" или кто они такие, то $_SERVER содержит:

[HTTP_ACCEPT] => */*
[HTTP_PRAGMA] => no-cache

Что думаете по этому поводу? При каких условиях могут принимать такое значение [HTTP_ACCEPT] и [HTTP_PRAGMA]? Как я понимаю, эти переменные должны содержать данные у 99,9% реальных пользователей компьютеров, планшетов и телефонов.
Можно ли таким образом отсеить ботов?
Рискую ли я отсечь и реальных пользователей отфильтровав их по таким условиям?

Answer 1

[asd111]

[HTTP_ACCEPT] => */* - такие заголовки не ставит ни один браузер, поэтому можно фильтровать по ним.
Но думаю самым простым и надежным способом будет вот такая рекапча в форме регистрации и там где боты бушуют:
https://www.google.com/recaptcha/intro/index.html

Ещё можно в форму регистрации добавить hidden input и через javascript туда прописывать значение и если присланное значение не соответствует тому что должно быть , то значит регался бот - боты обычно не выполняют javascript. Своеобразная javascript captcha - довольно надежная по моему опыту(надежнее чем капча где нужно распознать текст).
Простой пример:
форма

<form .....>
<input id="login_tt" type="hidden" name = "login_tt"> // Сюда будем записывать секретное значение через js
</form>
<script>
$("#login_tt").val("my secret value") // само значение которое будем проверять на сервере
</script>

на сервере примерно так

<?php
     if( $_POST["login_tt"] != "my secret value"){
      exit(0);
    }

Answer 2

[Владимир Дубровин]

*/* в Accept: чаще всего бывает при доступе браузером через прокси и в некоторых случаях - при обновлении страницы в браузере. То есть шанс убить какое-то количество легальных клиентов есть. Лучше поставьте каптчу на регистрацию.
P.S. Pragma: no-cache тоже ставится при запросе через прокси.

Comments

[Влад]

вот вообще все параметры. которые улавливают я от ботов - может ли один из этих параметров 100% говорить о боте?

[HTTP_CONNECTION] => close
[HTTP_ACCEPT] => */*
[HTTP_USER_AGENT] => Mozilla/5.0 (Windows NT 10.0; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0
[HTTP_REFERER] => /index.php?do=register
[CONTENT_TYPE] => application/x-www-form-urlencoded
[CONTENT_LENGTH] => 127
[HTTP_PRAGMA] => no-cache
[HTTP_COOKIE] => PHPSESSID=ekk3gu5vc7gh8mpsjp4qpl3nh2
[PATH] => /sbin:/usr/sbin:/bin:/usr/bin
[SERVER_SIGNATURE] => Apache/2.2.21 (EL) Server at mysite.com Port 80

[Владимир Дубровин]

100% - нет, не может. Самый странный из них Connection: close, в реальных запросах от настоящих браузеров почти всегда будет keep-alive.

[Влад]

Когда регаюсь я, то тоже отдаёт [HTTP_CONNECTION] => close

[Влад]

а сравните ботовскую куку с моей - у всех ботов PHPSESSID=ekk3gu5vc7gh8mpsjp4qpl3nh2
Может по этому параметру можно фильтровать? При заходе с прокси или еще чего могут не проставляться куки сайта?

[HTTP_COOKIE] => dle_newpm=0; _ym_uid=145052032953; PHPSESSID=n2do411r6h5rrk5; _ym_isad=0; DreamCashID=2x9zjnb78b2fw4cxakkf39kw525u; _gat=1; MarketGidStorage=%7B%223A%7B%22svspr%22%3A%22https%3A%2F%2Fwww.google.ee%2F%22%2C%22svsds%22%3A3%2C%22TMTQ%22C595190%22%3A%7B%22page%22%22time%22%3A1458034%7D%7D; _ga=GA139895609; _ym_visorc_1w

[Владимир Дубровин]

Это сеансовая кука PHP, зафильтровав ее вы просто запретите сессию. После того, как бот переполучит сессию он придет с новой кукой.

Answer 3

[Dimonchik]

любой cURL без настроек такое даст, о тех же питоновских http клиентах вообще не говорю

Answer 4

[Silm]

Если пользователь не пытается намерено быть анонимным у него будут работать куки. Увидев подозрительный заголовок (или какую то другую характерную особенность/активность), вы можете поступить как яндекс: предложить ввести капчу.

Comments

[Влад]

эту капчу постоянно учатся обходить.. ставил её, не спасает. А [HTTP_ACCEPT] будет выводится у анонимных посетителей?

[Влад]

через браузер TOR куки и [HTTP_ACCEPT] создаются.. наверное, можно смело фильтровать по этим параметрам

[Иван]

В любой непонятной ситуации проси капчу ))

Answer 5

[Иван]

Может это тупо боты поисковиков?

Comments

[Влад]

не, я эти данные фиксирую после прохождения регистрации - боты поисковиков не регистрируются))

[Silm]

кстати да, надо учесть, что поисковики могут скрывать своих ботов. Но, конечно, поисковой бот не станет регистрироваться на сайте.

[Иван]

Silm: может, если он не знает, что страницу не надо сканировать.

[Влад]

Иван: нее, в моём случае точно нет. Я собираю данные $_SERVER после заполнения логина, паролья, email и отправки данных на сервер) Это боту поисковика точно не под силу :)

[Влад]

а яндекс метрика фиксирует всего по 10 заходов в день на страницу регистрации, когда в базе ежедневно появляется по несколько десятков новых пользователей... спамеры как-то минуют открытие самой страницы из своих программ и сразу передают данные в POST запрос.. не разбираюсь..

[Silm]

Иван: если поисковой бот может зарегистрироваться на сайте, значит что то не так с регистрацией = )

[Владимир Дубровин]

Влад: так позволяйте регистрацию только тем пользователям, которые предварительно заходили на страницу регистрации в том же сеансе, часть ботов это отсеет.