Как можно избежать бана по IP при парсинге сайта?

Question

[Юлия Рейнер]

Пытаюсь спарсить контент сайта заказчика на предмет ошибок в метатегах, но сервер банит по IP. Выставляла поток 1 с промежутком 1100, все равно бан по ip минут на 5-10.
Как можно спарсить контент сайта?
Использовала Comparser и Xeny.
P.S.: Прошу не давать ответов, навроде "попроси у заказчика".

Answer 1

[Ilya]

1. Использовать прокси (желательно платные, но и с ними проблемы тоже могут быть)
2. Увеличивать таймаут между запросами.

Answer 2

[Rou1997]

Менять IP.

Пытаюсь спарсить контент сайта заказчика на предмет ошибок в метатегах,

Готовые же сервисы есть, их тоже?

Answer 3

[Дмитрий Дарт]

Вариантов много:
1) Больше таймаут. 1100 - это в секундах? Тогда нормально.
2) Прикинуться ботом гугла или яндекса, иногда им разрешают больше, но тут надо уже свой парсер писать а не готовыми пользоваться.
3) Запастись прокси и менять его после каждого запроса, тут опять же со своим парсером попроще было бы.
4) Самый верный способ: использовать парсеры имитирующие браузеры типа PhantomJS или Selenium.
5) Настроить вечером парсер на 1 запрос в 10 минут, лечь спать утром будет сразу 48 страниц )))

Comments

[Юлия Рейнер]

Спасибо, улыбнулась)

[Ilya]

"Самый верный способ" никак не спасет от бана по IP. Если бы бан был за "неинтерпретирование" JS, то да, помог бы.

Answer 4

[Юлия Рейнер]

Спасибо! Помогло увеличить таймаут до 3000 и использовать сеофрог

Answer 5

[IliaBrz]

Вы можете использовать VPN, либо позвонить Интернет-провайдуру и попросить сменить ваш IP адрес.