Как противодействовать парсингу сайта?

Question

[pr0r0k_d]

Есть популярный ресурс о недвижимости, на котором размещено много картинок домов с описаниями. В последнее время сайт кто-то парсит и от этого страдают лимиты по трафику у провайдера. Как можно противостоять парсингу? В каком направлении копать?
IP-шников в логах целая куча, блокировать не понятно кого.

Comments

[Adamos]

А вы сами, скажем, Яндекс.Недвижимости фид не скармливаете со ссылками на эти самые картинки?

Answer 1

[eRKa]

Чтоб парсить, надо определить какой-то шаблон, как искать и по какому критерию. Тут вариант, усложнять задачу: капчи - для отображения какой то инфы, просите каких то подверждений от клиента. Ломайте теги, где это можно сделать безболезненно, не закрывайте их, реализуйте показ одной и той же инфы разными способами. Вобщем добавте гемора писателям парсеров) Как только заметили, что кто-то парсит - измените страницу по мелочи.

Answer 2

[alexxandr]

сменить хостинг на другой с безлимитным трафиком.
И желательно не шаред.

Answer 3

[Nivka]

Настроить файл роботов. Может это хороший человек и сразу нагрузка уйдет.

Answer 4

[Алексей Уколов]

Да никак, по большому счету. Единственное решение - блокировать ip, с которых идёт слишком большое количество запросов за период при помощи http_limit_req, например.

Answer 5

[Павел Беляев]

Вы еще не видели как поисковики нападают на сайты, параллельно с нескольких айпишников несколько страниц дергают, на шаред-хостингах сразу лимиты по нагрузке срабатывают и блочат.

Answer 6

[xmoonlight]

Эсли парсят картинки, то это hot-linking называется: сюда.
Если парсят текст - то только по поведенческому фильтру отсеивать по заголовкам и IP/DNS.

Answer 7

[Василий]

на правах шутки - переделать сайт под WebGL вместо картинок хитронарезанные текстуры, текст вообще рисовать полигонами заполировать всё шифрованием и постоянной сменой алгоритма- пускай помучаются.