Что лучше применять для парсинга Selenium(ChromeDriver) + BeautifulSoup или Scrappy?

Question

[Дмитрий]

У меня есть сайт, который при использовании только лишь BeautifulSoup выдает одну html-ку. Если же этот же сайт открыть непосредственно в браузере Chrome, то страничка уже в виде другой html-ки.

В этой ситуации мне хочется понять, что лучше использовать или :
1. Selenenium -> ChromeDriver -> BeautifulSoup и смириться с тем что браузер долго открывается
2. Либо Scrappy

?

UPD:
Один из плюсов для Scrappy это возможность использования XPATH

Comments

[javedimka]

Попробуй оба варианта.

[Влад Григорьев]

Селениум, так же поддерживает:
ID = "id"
XPATH = "xpath"
LINK_TEXT = "link text"
PARTIAL_LINK_TEXT = "partial link text"
NAME = "name"
TAG_NAME = "tag name"
CLASS_NAME = "class name"
CSS_SELECTOR = "css selector"

Answer 1

[qlkvg]

Только requests, только хардкор.

Answer 2

[Dimonchik]

Scrapy когда без JS (хотя у них есть варианты и с ), Selenium - когда все остальное, Скрапи лучше

Comments

[Дмитрий]

Чем?

Answer 3

[Evgen]

Scrapy однозначно, большая скорость, кастомизация.
90% JS запросов можно эмулировать в Scrapy.
Если совсем суровая защита - можно привязать к ней splash.

Comments

[Дмитрий]

Минус Scrappy в том, что удобно и быстро ставится только под Linux. А под Windows геморойно (

[bl]

А как там эмулировать запросы? В нём же нет JS-движка.

[Evgen]

bl: Либо делаете вручную (например, смотрите firebug куда что идёт, мне этого метода хватает на 95% сайтов). Если совсем сложные запросы - можно попробовать использовать Splash, это такой "прокси" от разработчиков того-же scrapy, который рендерит JS и отдаёт вам страницу.

[bl]

Evgen: Понял о чём вы, смутило слово "эмулировать".
Значит вам везёт. У меня хорошо если 20-30% попадаются с нешифрованным запросом к api. У практически всех крупных сайтов он зашифрован.

[Evgen]

bl: Почти все эти зашифрованные API можно подделать.
Возьмём на примере linkedin.
Чтобы нормально отправлять запросы надо собрать хитрый заголовок. Он составляется из двух параметров. Один берётся из исходного кода страницы, второй вычленяется из cookie после авторизации.
Однако прекрасно собирается и работает.
На данный момент сайты, с которыми реально практически невозможно взаимодействовать через scrapy - это те, которые защищены by Distil Networks. Хотя на одном из таких сайтов я и с selenium'ом встрял.