Пробую парсить сайт с PhantomJS, при входе на сайт без прокси, отлично контент получаю, при работе с проксями не могу получить контент. Прокси рабочие, пробовал http(s), socks и т.д. Так же пробовал большой количество стран. В чем именно может быть проблема?
Дмитрий Бай и Руслан Садыхов: Если вам еще интересно, перепробовал еще кучу разных проксей, получилось так, что с некоторыми проксями парсер работает, а именно, чтобы HTTP и SSL - не было ошибок (одновременно), так как сайт работает только по HTTPS. По какой-то причине если HTTP возвращает ошибку при проверке, но SSL прекрасно работает, парсер не работает. Но это не самое интересное, самое интересное то, что на все это дело еще влияет уровень анонимности прокси. Так, например, когда нет или есть низкая, или средняя анонимность, тогда работает (при условии соблюдения вышесказанного), но при высокой - все опять не работает. Очень странно, может вы знаете и объясните, почему так происходит. Спасибо.
hrvasiliy: я буду больше стебаться, если вы какой нибудь vk пытаетесь парсить.
Я думаю, что на подобных сайтах (ксти не так много у нас в принципе использует https сейчас), уже всяко есть списки проксей открытых и они могут быть в черном списке.
Дмитрий Бай: Не vk. Проверил еще раз, скорее всего это 1-я проблема, что вы упомянули. Попробовал еще, получилось с 1-го прокси зайти на сайт, только прокси уже имеет высокий уровень анонимности, отсюда и вытекает 1-я проблема. Видимо надо покупать индивидуальные. А не могли бы подсказать способ узнавать забанен ли мой прокси на том или ином сайте?
hrvasiliy: я не знаю, не сталкивался.
Зато еще один сайт на https нашел. Доска объявлений что ли?
Их надо парсить очень аккуратно, так как они банять при любом малейшем пчихе, да и тех, кто желает их парсить, очень много )
думаю инфу по забаненным проксям можно в античате глянуть
