Лучший сервис для защиты от брутфорса/парсинга для вебсайта?

Question

[kizijo]

Для защиты от постоянного парсинга веб-проекта хочется реализовать довольно простую схему (полностью избавиться от этого не получится - знаем, но это и не нужно, главное максимально усложнить эту задачу):

Показывать каптчу всем пользователям, кто сделал больше 10 запросов к серверу за, например, 1 секунду.
Если пользователь разгадал каптчу и снова нарушил правила, то банить сначала на 1 минуту, потом на час и т.д.

Но есть один очень важный аспект: нельзя банить поисковых ботов.

Пробовали Cloudflare, но они не позволяют показывать каптчу, у них только опция бана. Остальные облачные фаерволы не дают четкого описания таких мелочей у себя на сайтах, поэтому если кто знает какие сервисы помогут решить такую задачу, то просим поделиться.

Либо, может, есть еще какие-то варианты решения таких задач?

Comments

[lololololo]

На кабре как раз была статейка про то чтобы не зацикливаться на защите от парсинга.

[lukoie]

lololololo, есть случаи, когда именно это и необходимо сделать. у меня такой случай, например.

[lololololo]

lukoie, так статья как раз про то что это невозможно не создавая пользователям неудобств.

[lukoie]

lololololo, возможно. Я столкнулся с таким сервисом, который сам парсил. Для пользователя всё ок, но как только начал парсить - получил хороший облом.
Теперь думаю как у себя сделать еще лучше.

[kizijo]

lololololo, на самом деле да, бывают случаи, когда это решает проблему. Дело ведь не в том, чтобы полностью избавиться от парсинга, а в том, чтобы сделать его трудным. Ведь спарсить сайт за 1 день и за полгода - это весьма существенная разница. Тем более, в контексте того, что контент сайта постоянно меняется.

Answer 1

[Игорь Воротнёв]

имхо:

- роботам ограничить аппетит в robots.txt адекватным rps/rpm
- выставить тот же адекватный rps/rpm на уровне сервера с помощью rate limiting

результат:

- роботы без проблем индексируют
- обычным пользователям никаких капч и неудобств
- особо активным и левым ботам с аппетитом выше rate limit - автоматический бан или просто сброс запросов свыше лимита (тут на выбор по вашему желанию)

Answer 2

[Reversaidx]

Могу предложить использовать testcookie в nginx для отсеивания ботов(с белым списком для поисковиков), В кратце это работает так - перед заходом на сайт генерится кука , без неё попасть на сайт нельзя, для пользователей это не вызовет проблем(и пройдёт не заметно, а боты в большинстве своём не пройдут

Comments

[Sanes]

Включая поисковые

[devalone]

А что мешает боту получить эту печеньку и использовать для дальнейших запросов?

[Reversaidx]

Sanes про белый список сказано в первом предложении.
̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻ ҉ большинство ботов пройдут мимо, если кому-то нужно пропарсить то ничего не остановит, а так избавит от большинства парсеров(т.к проще переключится на другой сайт, чем разбиратся почему на вашем не работает)

[devalone]

Reversaidx,

̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻ ҉ большинство ботов пройдут мимо, если кому-то нужно пропарсить то ничего не остановит, а так избавит от большинства парсеров(т.к проще переключится на другой сайт, чем разбиратся почему на вашем не работает)

Иногда нужно парсить конкретный сайт.

если кому-то нужно пропарсить то ничего не остановит

Ну почему? Гуглокапча замедлит и усложнит парсинг(придётся платить индусам за разгадывание)

[Reversaidx]

̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻ ҉ капча потребует от пользователей действий, что в текущих реалиях лучше избегать

[devalone]

Reversaidx, можно выдавать капчу при превышении лимитов на количество обращений с одного IP и другие подозрительные действия

[Златослав Десятников]

̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻ ҉, так это стоит копейки. :)

[devalone]

Златослав Десятников, но всё же стоит и если парсить очень много, то уже не копейки, плюс капча добавляет задержку на каждый запрос парсера, да и максимально возможное количество одновременных запросов ограничивается количеством индусов, работающих на сервисах по разгадыванию капчи.

Answer 3

[glader]

Готовое решение не предложу.

У поисковых ботов обычно известны адреса подсетей. Вы можете показывать капчу по вашим правилам всем, кто не входит в эти подсети.

Answer 4

[hostadmin]

Вы же можете ограничить скорость обхода сайта роботом в robots.txt