Аналоги selenium для python?

Question

[Skylead]

Приветствую.
Есть ли более быстрые аналоги selenium?
Задача заключается в парсинге страницы, где контент грузится через javascript.
Также требуется кликать по элементам.
Нашел несколько движков:

• https://github.com/makinacorpus/spynner
  
• PhantomJS - можно ли им управлять не из панели selenium?
  
• PyQt - подойдет для этих целей?
  

Какой самый подходящий?

Answer 1

[qlkvg]

а чем selenium не устраивает? он по сути - обвязка над браузером, там тупить особо не чему. другой вопрос, что веб нынче тяжелый. у меня selenium+phantomjs с отключенными картинками работает вполне шустро.
На PyQt+webkit сам ничего не писал, но чужой проект оставил не лучшее впечатление(хотя вполне возможно, что там проблема была в руках разработчика, а не webkit'e)

Answer 2

[Дмитрий Еремин]

Да, селениум здесь - не самое подходящее

Вот, пример рассуждений на вашу тему: https://habrahabr.ru/post/280238/
Ну и целая книга об этом (shop.oreilly.com/product/0636920034391.do)

Comments

[Skylead]

Спасибо, к сожалению, не то.
Такие парсеры писал уже и не раз, но моя нынешняя задача требует движка.

[Skylead]

Может знаете какие-нибудь движки под управление питона?

Answer 3

[shamanovski]

Используйте dryscrape библиотеку. Он использует webkit для вычисления js и возвращает результат вам вместе с разметкой

Comments

[Skylead]

Спасибо, попробую

Answer 4

[Dimonchik]

https://blog.scrapinghub.com/2015/03/02/handling-j...

но нередко задача с js решается обычным

Comments

[Skylead]

Спасибо, не натыкался на него.
Там практически вся страница скриптом подгружается, даже PhanomJS не справляется

Answer 5

[Алексей Сундуков]

Внесу небольшую ремарку все же. Нужно различать 1) скорость отработки одной страницы 2) скорость отработки Х страниц в секунду. Обычно под "более быстрый" понимают второе, т.к. на практике у нас много страниц и мы хотим от как можно быстрее пропарсить. Так, вот, если задача поднять именно п. 2, то делать это можно и на selenium, просто придется запустить целый кластер из нод. Что обычно выливается в большие требования по ресурсам. И если selenium все устраивает и есть такие ресурсы, то есть смысл оставаться в его рамках.

Comments

[Bjornie]

"Так, вот, если задача поднять именно п. 2, то делать это можно и на selenium, просто придется запустить целый кластер из нод. " если запускать с десктопа, то какие ресурсы потребуются? И как лучше запустить в несколько потоков один скрипт?

[Алексей Сундуков]

Bjornie: Под свои задачи я пускал 10 инстансов PhantomJs. Каждый "протекал" до 5Гб ОЗУ. Сервер был на 32 ГБ ОЗУ. Запуск нескольких копий скрипта (обеспечивает изоляцию, плюс у меня PHP). Контроль количества через семафоры. Очередь в Redis исключает дублирование задач.