Парсер сайта с прокси?

Question

[Богдан]

Здравствуйте. Посоветуйте, что лучше всего заюзать.
Нужно сделать парсер для сайта, но чтобы спарсить, нужно кнопочки нажимать. Куки не нужны, но нужно динамическое переключение прокси (чтобы сайт не забанили).
Спасибо.

Comments

[edward_freedom]

чтобы спарсить инфу, кнопочки на клавиатуре надо нажимать, чтобы код появился

[Владимир]

Думается что сайт, который банит по IP не сильно долго будет терпеть товарисча без cookies. Или каждый запрос с нового прокси?

[Artem Ivanov]

php + curl + proxy
всё это вам поможет

Привет , коллега Владимир)

[devalone]

zkrvndm, предлагаешь за деньги сделать костыльное решение?

[Надим]

devalone, не костыльное, а полноценный браузеры плагин на 100% выполняющий нужные вам функции по парсингу и который гарантированно не попадает в блок, так как ничем не будет отличатся по поведению и параметрам от обычных посетителей.

Возможно вас смущает, что предлагаю за деньги, но суть здесь в том, что для создания плагина нужно время, от 3 - 7 дней. Лично я не готов столько своего времени выкинуть на благотворительность, исключительно за спасибо, поэтому только платно.

[Developer]

Пиздец у тебя ошибок в тексте, школота

[devalone]

zkrvndm, осиль селениум.

Answer 1

[Phoenixsma]

Puppeteer вам в помощь.

Answer 2

[Кирилл]

Если знакомы с Python'ом, можете заюзать связку Python + Scrapy + Splash + Proxy - получится весьма мощная система, которая умеет все что вам нужно, от парсинга простых сайтиков, до сайтов, которые работают с front-end фреймворками.

Comments

[xmoonlight]

а тоже самое (аналог) под PHP можешь посовтетовать?

[Евгений Иванович]

А как эта связка работает с Javascript?

[Кирилл]

Евгений Иванович, отлично. Splash - это эмулятор браузера, почти как Selenium, только Splash разработан для производственного парсинга сайтов.

[Кирилл]

xmoonlight, к сожалению не подскажу, т.к. такими вещами на PHP не занимался. Погуглите что-то типа write spider on php like scrapy - возможно что-то попадется нормальное, вот в этой ветке тоже можете глянуть материал, может зайдет Подскажите аналог scrapy для PHP или просто какую-то многопоточную скачивалку

[xmoonlight]

Кирилл, Спасибо Большое!

Answer 3

[АртемЪ]

но что бы спарсить нужно кнопочки нажимать?

Безголовый браузер нужен.
Можно selenium webdriver.

нужно динамическое переключение прокси (что бы сайт не забанил)

Ну так в скрипте которым парсить будете добавьте строчку смены прокси, и все.

Comments

[Богдан]

спасибо, в телеграмм канале по ноде, порекомендовали обычный puppeteer, или selenium лучше?

[АртемЪ]

Богдан, Что значит лучше? По каким параметрам? Для кого?
Разумеется puppeteer намного хуже чем selenium.
Сами подумайте - я отлично знаю selenium и вообще не работал с puppeteer. Конечно же он хуже.

Answer 4

[Евгений Иванович]

Можно использовать обычные запросы на python с обвязкой с tor если кнопочки не нужно нажимать, а так если сайт требует полноценной работы то как сказали выше selenium webdriver. Из минусов selenium-a могу выделить пока что только ограниченную эмуляцию ввода/вывода/интерактива с веб страницей. Возможно это так оптимизация работает, но в этом точно есть минус.