Как определить факт парсинга сайта?

Question

[weranda]

Приветствую

Иногда некоторые люди парсят сайт, статьи с него, некоторые умудряются даже с дизайном спарсить. Можно ли как-то отследить парсинг сайт на программном уровне и, к примеру, заблокировать процесс парсинга? Может быть у кого-то есть дельный совет или хорошая статейка в закладках.

Comments

[Nwton]

Нет. Нельзя. Говорю, как человек побывавший по обе стороны баррикад.

Answer 1

[Вася Петров]

Нет. Грамотно работающий парсер невозможно отличить от обычного(ых) юзера(ов).

Comments

[ivleva_m]

Верно

Answer 2

[Sanes]

Ограничить кол-во обращений с 1 IP за какой-то промежуток времени.

Comments

[Ro37A]

Троттлинг запросов обходит это ограничение.

[Алексей]

Ro37A, Записать интервал всех обращений. Если медианное значение промежутков практически равно среднему, то это троттлинг ибо все равно задается некий интервал. А случайное значение в заданном интервале, всегда будет равняться среднему на большом количестве запросов

Answer 3

[Eugene Khrustalev]

Поисковые боты тоже парсят сайты.
Если речь идет о магазине, то парсить и тырить будут всегда.
Если это статьи, то перед публикацией их на сайте, можно сначала показать их Яндексу, чтобы тот знал, где статья впервые появилась.
Ограничение по одному запросу с IP легко обходится.

Comments

[weranda]

Использование оригинальных текстов уже давно проверено – напрасная трата времени. Такое ощущение, что это просто форма, хранящая кусок текста и более ничего не делающая(

[Ro37A]

weranda:

Обратите внимание, что Яндекс не гарантирует учет вашей заявки в работе поисковых алгоритмов.

Пустышка от Яндекса.

Answer 4

[Александр Петров]

Сам сейчас думаю над этой проблемой.
1) Блокировка по ip в первую очередь
2) Динамический контент. Пока не придумал как, но надо как-то при каждом запросе изменять структуру и классы блоков. Парсер же в первую очередь на структуру страницы ориентирован.
3) можно важный контент грузить ajax-ом
4) можно важный контент делать картинками. Как например Avito, они телефоны показывают картинками.

Comments

[Eugene Khrustalev]

Блокировка по IP обходится очень просто с помощью проксей, тора, vds-ок. Динамика закроет пусть к индексированию в поисковиках, а контент в картинках - это жесть, если честно.
Если захотят стырить, то стырят. Если придется, то скопируют вручную.
Половина тостера парсеры пишет, треть ими зарабатывает))

[Александр Петров]

Eugene Khrustalev: Ну это как бы да, но все-равно надо сделать так, чтобы жизнь медом не казалась)

Контент картинками распространенная практика. для чего-то очень важного, например, телефонов можно и применить.

[Eugene Khrustalev]

Дело в том, что даже динамику легко спарсить, чуть медленнее только.
Посмотрите как работают автотесты интерфейса для JQuery/Angular/React-приложений. Selenium и загрузит и покажет и сообщит, когда скрипты подгрузились и отрендерили страницу.

ИМХО: Пустая трата времени.

[Александр Петров]

Eugene Khrustalev: А какой тогда выход?

[Eugene Khrustalev]

А можно чуть больше конкретики - для какой аудитории сайт, должен ли он индексироваться, будет ли он доступен RSS-агрегаторам и т.д.?
В любом случае, HTML-это просто текст, который так или иначе становится доступный браузеру, который, кстати, может работать под контролем парсера или быть его частью.

[Александр Петров]

Недвижка. На сайте будут отображаться новостройки. Ну все квартиры с ценами и всей инфой. Конкуренты могут подворовать контент, а он уникальный и добыт не малыми усилиями. обидно будет, если приватизируют.

Индексироваться будет. RSS нет.

Что страница и текст понятно, но все-равно как-то защититься можно же. Avito я знаю точно, что защищаются.

[Stanislav]

Что забавно - почти самое первое, что я в своей жизни написал на php - был парсер :)

[qlkvg]

avito телефоны только в полной версии картинкой показывает, в мобильной оно голым текстом при клике отдается. благодаря этому зайдя на авито со смартфона, можно сразу в звонилку перейти по клику на телефон. никто не будет отказываться от юзабилити ради обфускации данных. ну а ajax обходится либо selenium'ом, либо кучей бессонных ночей изучения того, как работает современный веб.

Answer 5

[Dimonchik]

для статей нельзя,

для Авито есть способы, но накладные по процессу - например, гуглботы и прочие определяются легко