Как ограничить количество запросов страниц пользователем — защитить сайт от скачивания?

Question

[Макс]

Доброго времени суток!

Есть сайт фотографа, англоязычный. Основной трафик с Google/ Pinterest. Нехорошие ребята скачивают весь сайт целиком, создают большой исходящий трафик превышающий реальный трафик юзеров порой в десяток раз, нагрузку на сервер (качают в 70 потоков!), и далее фото используют на других сайтах и в своих целях.

Я знаю что реальные пользователи не смотрят на сайте больше 50 страниц, но когда запросов 10000, тут все ясно.

Подскажите пожалуйста способы защиты. Возможно есть ограничение на уровне Nginx, apache, php ? Скрипт в htaccess или плагин для Wordpress для ограничения количества запросов с одного IP (или user-agent), но при этом чтобы всех ботов поисковиков пускать без проблем...Прописывать IP поисковиков в Htaccess не панацея т.к. IP ботов поисковиков может меняться, а не дать боту страницу будет epicfail.

Оптимальным был бы временный бан задаваемый на определенный период в случае превышения N запросов с привязкой к IP/Useragent.

Comments

[Макс]

Еще добавлю: не обязательно, но важно чтобы работало на шаред хостинге, т.к. есть сайты в зоне риска и на нем. Поэтому лучшим решением будет что-то вроде плагина для Wordpress т.к. все-таки CMS у меня везде одна.

Answer 1

[Philipp]

У гугла четкая обратная зона прописана в DNS
https://support.google.com/webmasters/answer/80553...

Яндекса можно тоже идентифицировать
https://yandex.com/support/webmaster/robot-working...

Я бы рекомендовал использовать Crawl-delay
https://yandex.com/support/webmaster/controlling-r...

Есть еще модули для управление количеством активных соединений
nginx.org/en/docs/http/ngx_http_limit_conn_module.html

Плюс добавьте водный знак на изображения.
Есть еще издевательства вроде этих www.fleiner.com/bots/#trap

Можно сделать интересную вещь, после 30 запросов страниц с одного IP за меньше, чем минуту, просто выводить каптчу. Человек это легко решает, у него есть куки. Ставите ему куку, даете доступ еще на 30 страниц. Роботов настройте через Crawl-delay, чтобы не бомбили чаще раза в 10 секунд и все будет хорошо. Гугловский робот настраивается через интерфейс вебмастера.

Comments

[Макс]

Спасибо, буду копать в этом направлении. Проблема в том что технически я слаб, и хотелось бы уже готовых решений, проблема-то не нова...Например как этих ботов по DNS отслеживать модулем-скриптом или хотя-бы как это называется на англ чтобы нагуглить?

[Philipp]

wtfowned: anti ddos, anti crawler, watermark

Answer 2

[polifill]

И от поисковых систем тоже закрыть сайт?
;)
А они большой трафик создают, кучу запросов.
И как раз подряд шерстят - все 100500 страниц

Читать инструкции у поисковых систем.
Скажем у Яндекса написано как детектить их бота:

1. По User-agent (может подделываться, поэтому нужны и остальные проверки)
2. По обратному DNS из IP определять DNS-имя.
3. И по полученному имени определять IP

Яндекс пишет - это защищает от подделок.
У Гугля не знаю, читайте, ищите. Наверняка тоже можно.

Во первых, грамотный движок совершенно не нагружает сервер.
Я разрабатываю сайт, на нем порядка 7 000 фото.
Плачу за хостинг фото рублей 15 в месяц (движок хоститься отдельно) при посещаемости порядка 2000 уников в день.
Ищите проблему у себя в движке.

Во вторых, если утаскивают на нероссийские сайты, то это западные ребята - а там очень сурово карают за нарушение копирайта. Жалуйтесь их хостеру, Pinterest`у и т.п.

В третьих, у нас тоже - через Роскомнадзор можно наказать.

В четвертых, это же то о чем вы мечтали. Это - успех.
Сделайте на фотографиях свое лого - и не парьтесь.
Это бесплатная реклама.

Comments

[Макс]

Это не то что мне нужно. Ватермарки по определенным причинам ставить тоже не могу. Здесь именно задача в запрете доступа, и запрете готовым решением. И дело не в нагрузке как таковой на хост. Если говорить про другой сайт, там картинок 70 тысяч и он на русском, исходящий трафик в терабайтах, его целиком спарсили в один прекрасный день (кто-то из СНГ), перевели на 12 языков, и получают теперь 300 тыс трафика в месяц с полностью моего контента (в рублях сколько это затрудняюсь сказать, но думаю больше меня по итогу)...А сайту 7 лет и над ним десяток человек работает, там же все запустили за неделю - это обидно очень. Писать жалобы - не до этого. А про Роскомнадзор вообще не понял.

Answer 3

[xmoonlight]

Тут правила для .htaccess

Answer 4

[Пума Тайланд]

в нгинксе есть ip limit на количество одновременных коннектов

Comments

[Макс]

Проблема в том что технически я слаб, и хотелось бы уже готовых решений, проблема-то не нова...

[Пума Тайланд]

wtfowned: наймите админа или прочитайте документацию нгинкса по этому вопросу

[Макс]

Пума Тайланд: я так понимаю что на shared хостинге это невозможно? есть еще сайты на шареде, которые тоже в зоне риска...

[Пума Тайланд]

wtfowned: нет конечно