Для парсера с поддержкой JavaScript, кукисов какую связку посоветуете?

Question

[Валентин]

Требуется написать парсер сложного сайта, с авторизацией, проверкой кукисов, user-agent, капчи. Некоторые вещи генерятся скриптом.
Почитал по интернетам, люди все больше для этого используют nodejs, как я понимаю, в связке с NW.js.
Что еще потребуется?
Какие еще варианты имеются?

Answer 1

[nozzy]

Python + Selenium, в Selenium использовать web-driver PhantomJS.
Для cookies использую pickle.

Comments

[Валентин]

Что-то похожее на хабре описано, но там nodejs на месте Python

Answer 2

[Даша Циклаури]

для таких вещей как правило пишется 2 приложения:
1) скрипты для phantomJS
2) http-api (запускается локально с фантомом) для принятия разпарсеной инфы в структурированном виде от фантома. Со своей стороны для реализации этой части рекомендую .net (приложение делается за минуты, все удобства linq и т.д.).

* для масштабирования первого модуля можно написать простенький менеджер процессов парсинга, который запускает сколько надо экземпляров на нужных хостах с нужной конфигурацией (на том же .net)

Comments

[Валентин]

Мне нужно, чтобы работало все на сервере, консольное приложение

[Даша Циклаури]

Валентин: это все и есть консольные приложения

[Валентин]

Даша Циклаури: Дот нет вообще не касался, трудно с ним будет

Answer 3

[Дмитрий Авилов]

Да можно и на обычном request такое реализовывать спокойно вполне, там и кукисы есть, и заголовки какие угодно.
Смотреть надо, иногда проще разобраться, как генерятся необходимые запросы, если же они генерируются хитрым яваскриптом - всегда можно этот яваскрипт скачать, засунуть в vm и тоже их генерировать.

Ну или как тут написали, headless браузеры.

И таки да, нода идеально подходит для взаимодействий со сторонними сайтами.

Answer 4

[Evgen]

В scrapy всё это можно запихать

Answer 5

[Inviz Custos]

https://github.com/puppeteer/puppeteer