Настройка nginx, защита, реферал спам?

Question

[das34]

Добрый всем вечер !!!
В логах стали появляться слишком много разных рефферов
нечто подобное
vk.com/znakomstva2u 15 11.2 % 15 6.6 %
vk.com/renteilat 15 11.2 % 15 6.6 %
go.mail.ru/search 12 9 % 12 5.2 %
burger-imperia.com 11 8.2 % 11 4.8 %
sexidating.xyz 5 3.7 % 5 2.2 %
lifecorp.me 5 3.7 % 5 2.2 %
vk.com/dietgumbuy 5 3.7 % 5 2.2 %
imgur.com/uucYNRD 5 3.7 % 5 2.2 %
linda.sexidating.xyz/virtual-sex-game-3d 5 3.7 % 5 2.2 %
cas0.ru/igrovye-avtomaty-besplatno-bezregistracie.html

как в nginx эффективно бороться с этим спамом ? и что это вообще ? на этих ресурсах своего сайта я не нашел, тем временем сайт теряет в позициях последнее время очень сильно.

Comments

[lubezniy]

А при чём тут настройка nginx , если ссылки размещаются на других сайтах, и поисковые системы (если так на самом деле) видят это не у Вас?

[das34]

lubezniy: при том что ссылок на этих ресурсах на мой сайт НЕТ, а переходы идут , полка только нашел такой способ борьбы не знаю насколько он правильный
if ( $http_referer ~* (sex|teen|znakomstva|renteilat|dietgumbuy|freegames|amritasalon|games|hostx|imgur|imperia|pizza|parallaxsearch|alonamoda|quattroural|traffic|777s|imgur|romansmirnov|alonamoda|vk.com|pictures11|amsterjob) )
{
return 403;
}
протестировал с контакта работает отдает 403

[ТыжСисАдмин]

А смысл? Ну единственное что вам не будет захламлятся статистика, удобнее смотреть реальные данные, но в результате в реферер можно напихать чего удодно.
Вполне возможно что так добиваются индексации тех доменов/страниц - незнаю только обращает ли тот-же гугл внимания на такие данные в своей статистике, но думаю что всё-же да ибо тогда я смысла не вижу вообще :)

[das34]

Алексей POS_troi: Алексей А смысл добиваться их индексации ? там 100 % спаммерские домены, с чернухой. а вот у меня понижение существенное.

[sim3x]

das34: лучше 444 возвращать

[ТыжСисАдмин]

das34: ну так можно же ботам отдавать любые данные, если вы кому-то мешаетесь в выдаче то нормальный способ вас прибить. :)
Чёрное SEO так сказать.
А скоро вон гугл вообще спрячет данные о пэёджранк.

[das34]

Алексей POS_troi: Уже прибили почти =( , поздно логи смотреть начал, теперь бы найти КТО ? И сделать ему тоже самое )))) , Яндексы говорят все хорошо у вас фильтров не стоит, и говорят попросите те домены которые ссылаются на ваш сайт убрать ссылки )))) Яб попросил )))

[das34]

sim3x: Спасибо!!! поставлю 444 =) хотя честно говоря хотел 503 поставить =)

[das34]

Может быть подскажите еще как бороться с
Unknown robot (identified by 'crawl')
Unknown robot (identified by 'robot')
Unknown robot (identified by '*bot')
Unknown robot (identified by 'bot*')
Unknown robot (identified by empty user agent string)
Unknown robot (identified by hit on 'robots.txt')
Unknown robot (identified by 'spider')
SurveyBot
FavIconizer
С последними понятно...

Answer 1

[Павел Селиванов]

nginx.org/en/docs/http/ngx_http_referer_module.html

valid_referers none blocked server_names *.example.com example.com;
if ($invalid_referer) {
  return   403;
}