weranda
@weranda

Как определить факт парсинга сайта?

Приветствую

Иногда некоторые люди парсят сайт, статьи с него, некоторые умудряются даже с дизайном спарсить. Можно ли как-то отследить парсинг сайт на программном уровне и, к примеру, заблокировать процесс парсинга? Может быть у кого-то есть дельный совет или хорошая статейка в закладках.
  • Вопрос задан
  • 2109 просмотров
Пригласить эксперта
Ответы на вопрос 5
VasyaPertrov
@VasyaPertrov
Изготовление и безопастность сайтов. WP и др.
Нет. Грамотно работающий парсер невозможно отличить от обычного(ых) юзера(ов).
Ответ написан
Sanes
@Sanes
Ограничить кол-во обращений с 1 IP за какой-то промежуток времени.
Ответ написан
Поисковые боты тоже парсят сайты.
Если речь идет о магазине, то парсить и тырить будут всегда.
Если это статьи, то перед публикацией их на сайте, можно сначала показать их Яндексу, чтобы тот знал, где статья впервые появилась.
Ограничение по одному запросу с IP легко обходится.
Ответ написан
Mirkom63
@Mirkom63
Я программист
Сам сейчас думаю над этой проблемой.
1) Блокировка по ip в первую очередь
2) Динамический контент. Пока не придумал как, но надо как-то при каждом запросе изменять структуру и классы блоков. Парсер же в первую очередь на структуру страницы ориентирован.
3) можно важный контент грузить ajax-ом
4) можно важный контент делать картинками. Как например Avito, они телефоны показывают картинками.
Ответ написан
dimonchik2013
@dimonchik2013
полковник Андрейченко
для статей нельзя,

для Авито есть способы, но накладные по процессу - например, гуглботы и прочие определяются легко
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы