Как обработать javascript?

Question

[sddvxd]

Доброго времени суток
Изучая библиотеку requests я наткнулся на проблему: нельзя обработать js на странице
Допустим на странице присутствует капча, средствами requests и bs получить форму с ней не получится - вместо формы будет "У вас не включен JS, включите его в настройках брузера...."

Поискав в интернете я наткнулся на selenium, но он открывает окна браузера, что мне совсем не нужно
Нужно просто загружать js не прибегая к использованию браузера

Подскажите, какие мысли на этот счет

Answer 1

[nirvimel]

• Простой путь: PhantomJS вместо браузера под тот же селениум.
  
• Путь настоящих Мужиков: Прочесть js (достаточно ухватить саму идею) и переписать на python с обычным requests (лучше - aiohttp). И никаких браузеров и селениумов.
  

Comments

[shamanovski]

Здравствуйте. Не могли бы вы рассказать для чего использовать aiohttp (сам ни разу не работал с этим фреймворком) для такой задачи, как эта?

[nirvimel]

shamanovski: Это почти что requests, только под asyncio. Смысл в том, чтобы в одном потоке асинхронно выполнять десятки параллельных запросов.

[shamanovski]

nirvimel: Спасибо

[Виталий]

а фантом не загружает браузер, мда....

[nirvimel]

Виталий: У вас загружает? И какой же браузер?

[Виталий]

nirvimel: в него встроен вебкит