Как можно «очеловечить» веб-парсер?

Question

[Crash]

У меня есть некоторый опыт написания и эксплуатации парсеров и к этому времени я столкнулся с проблемой - их блокируют. Запросы от парсера воспринимаются как автоматические, к сайту закрывают доступ и просят ввести капчу или бывает еще хуже: шлется абуза на хостинг и могут заблокировать целый VPS.

Как можно делать парсеры более "человечными"? Чтобы работа парсера практически ничем не отличалась от работы реального пользователя. Как и что можно имитировать? Конечно, можно парсить через прокси, но это платное удовольствие и в целом не решает проблемы.

Answer 1

[Зелимхан Бельтоев]

Selenium, задержки между запросами, разные user-agent-ы

Answer 2

[Олег Гамега]

Конечно, можно парсить через прокси, но это платное удовольствие

но вы же делает платные решения, в чем проблема то ?

и в целом не решает проблемы.

единого решения и нет, есть совокупность мер, среди них эмуляция браузера(разных), прокси, задержки между обращениями и многое другое.

зы да, прокси платное решение и для минимилизации затрат если можно обойтись без них обходятся без них, но в ряде случаев это не возможно