Задать вопрос
alexanderkx
@alexanderkx

Что делать с парсерами, которые долбят сайт?

Таки столкнулся с жёстким парсингом своего сайта (или чем-то другим).

Ситуация такая. Проект начинает быть весьма полезным и посещаемым. Имеется кнопка на странице, по клику на которую подгружается таблица с достаточно полезной информацией.

Сделал таким образом:
На кнопке есть data-url="/id/145", и соответственно при клике js-ом подгружаю результат обращения к этой странице.

Статистика показывала, что нажимали примерно раз в 20-15 минут. Что вполне пропорционально посещаемости. Сегодня увидел жуткую картину - в минуту по 5-10 обращений с разных ip (штук 15-20 чередуются).

Ладно думаю. Скорей всего тупо взяли site.com/id/145/ и меняют id-шку. Сделал небольшую проверку. При заходе на сайт генерируется некий хэш и при обращении к /id/ проверяется нажал ли пользователь на кнопку, или напрямую перешёл на /id/145/. Но ничего не поменялось :( Стало быть каким-то образом происходит имитация нажатия на кнопку.

Что можно сделать? ) Инфы то не жалко, просто засоряют жутко реальную статистику.. Да и не хорошо как-то получается.
Благодарю.
  • Вопрос задан
  • 645 просмотров
Подписаться 3 Оценить 7 комментариев
Решение пользователя Rou1997 К ответам на вопрос (4)
Rou1997
@Rou1997
HTTP-заголовки смотрите, по ним и по JS определите, действительно ли браузер или все-таки 'raw HTTP", если первое, то защита на фронт-енде должна быть, если второе, то на бек-енде, суть защиты - вносить изменения, которые не способен обработать парсер, но, грубо говоря, если очень захотят, то хоть каждый день будут "чинить" своего бота, оставили бы вы их в покое.
Ответ написан
Комментировать