Почему парсер не получает контент?

Question

[hrvasiliy]

Пробую парсить сайт с PhantomJS, при входе на сайт без прокси, отлично контент получаю, при работе с проксями не могу получить контент. Прокси рабочие, пробовал http(s), socks и т.д. Так же пробовал большой количество стран. В чем именно может быть проблема?

Comments

[Dmitry Bay]

попробуйте сначала фантом отправить на точно работающий сайт. Вполне вероятно существует какой то бан лист на ваш ресурс.

[hrvasiliy]

Дмитрий Бай: Вы имеете в виду мой ресурс - это мой фантом? Или же мой ресурс - это сайт-донор?

[Dmitry Bay]

hrvasiliy: ресурс, к которому вам необходим доступ. Ну и проверьте, не возникает ли каких ошибок в соединении.

[hrvasiliy]

Дмитрий Бай: все в норме без использования проксей. Проблема в них, только какая, не понятно

[Руслан Садыхов]

hrvasiliy: может быть прокси под паролем, требует привязки по IP или ещё что-то. Проверьте на валидность.

[hrvasiliy]

Руслан Садыхов: проверяю всегда перед использованием. Через curl работает все. Но вот только curl тут не поможет так как на сайте JS.

[hrvasiliy]

Дмитрий Бай и Руслан Садыхов: Если вам еще интересно, перепробовал еще кучу разных проксей, получилось так, что с некоторыми проксями парсер работает, а именно, чтобы HTTP и SSL - не было ошибок (одновременно), так как сайт работает только по HTTPS. По какой-то причине если HTTP возвращает ошибку при проверке, но SSL прекрасно работает, парсер не работает. Но это не самое интересное, самое интересное то, что на все это дело еще влияет уровень анонимности прокси. Так, например, когда нет или есть низкая, или средняя анонимность, тогда работает (при условии соблюдения вышесказанного), но при высокой - все опять не работает. Очень странно, может вы знаете и объясните, почему так происходит. Спасибо.

[Dmitry Bay]

hrvasiliy: я буду больше стебаться, если вы какой нибудь vk пытаетесь парсить.
Я думаю, что на подобных сайтах (ксти не так много у нас в принципе использует https сейчас), уже всяко есть списки проксей открытых и они могут быть в черном списке.

А еще, вы не пробовали в гугле искать причину бед? первая строка и возможно именно то что вам нужно
stackoverflow.com/questions/12021578/phantomjs-fai... а именно ошибка при загрузке сертификата.

[hrvasiliy]

Дмитрий Бай: Не vk. Проверил еще раз, скорее всего это 1-я проблема, что вы упомянули. Попробовал еще, получилось с 1-го прокси зайти на сайт, только прокси уже имеет высокий уровень анонимности, отсюда и вытекает 1-я проблема. Видимо надо покупать индивидуальные. А не могли бы подсказать способ узнавать забанен ли мой прокси на том или ином сайте?

[Dmitry Bay]

hrvasiliy: я не знаю, не сталкивался.
Зато еще один сайт на https нашел. Доска объявлений что ли?
Их надо парсить очень аккуратно, так как они банять при любом малейшем пчихе, да и тех, кто желает их парсить, очень много )

думаю инфу по забаненным проксям можно в античате глянуть