Аналоги selenium для python?

Приветствую.
Есть ли более быстрые аналоги selenium?
Задача заключается в парсинге страницы, где контент грузится через javascript.
Также требуется кликать по элементам.
Нашел несколько движков:

Какой самый подходящий?
  • Вопрос задан
  • 3791 просмотр
Пригласить эксперта
Ответы на вопрос 5
qlkvg
@qlkvg
python backend developer
а чем selenium не устраивает? он по сути - обвязка над браузером, там тупить особо не чему. другой вопрос, что веб нынче тяжелый. у меня selenium+phantomjs с отключенными картинками работает вполне шустро.
На PyQt+webkit сам ничего не писал, но чужой проект оставил не лучшее впечатление(хотя вполне возможно, что там проблема была в руках разработчика, а не webkit'e)
Ответ написан
EreminD
@EreminD
Кое-что умею
Да, селениум здесь - не самое подходящее

Вот, пример рассуждений на вашу тему: https://habrahabr.ru/post/280238/
Ну и целая книга об этом (shop.oreilly.com/product/0636920034391.do)
Ответ написан
@shamanovski
Используйте dryscrape библиотеку. Он использует webkit для вычисления js и возвращает результат вам вместе с разметкой
Ответ написан
dimonchik2013
@dimonchik2013
...встаю, одеваюсь, завтракаю и еду домой...
https://blog.scrapinghub.com/2015/03/02/handling-j...

но нередко задача с js решается обычным
Ответ написан
alekciy
@alekciy
Вёбных дел мастер
Внесу небольшую ремарку все же. Нужно различать 1) скорость отработки одной страницы 2) скорость отработки Х страниц в секунду. Обычно под "более быстрый" понимают второе, т.к. на практике у нас много страниц и мы хотим от как можно быстрее пропарсить. Так, вот, если задача поднять именно п. 2, то делать это можно и на selenium, просто придется запустить целый кластер из нод. Что обычно выливается в большие требования по ресурсам. И если selenium все устраивает и есть такие ресурсы, то есть смысл оставаться в его рамках.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы