Есть ли библиотеки для серфинга по бразеру без граф. Оболочки? selenium без граф. оболочки, что то между selenium и requests?

Question

[Eltorniado]

Нужна библиотека python, которая позволит вписывать текст в поля и нажимать на кнопки на веб сайтах. Желательно, без графической оболочки. По крайней мере, чтобы все происходило быстро, а не по несколько лет, как в случае с селениумом. Иначе говоря, нужна библиотека, которая может делать действия аналогичные requests.post(), но, чтобы дополнительно могла нажимать на нужные мне кнопки.

Comments

[Viktor T2]

что то между selenium и requests
MechanicalSoup
https://github.com/MechanicalSoup/MechanicalSoup
https://mechanicalsoup.readthedocs.io/en/stable/fa...

Answer 1

[Kadabrov]

scrapy

Answer 2

[Денис]

—headless

Answer 3

[Полиш Флэймзровер]

Если я не ошибаюсь, то в selenium можно отключить граф.оболочку.

Comments

[Eltorniado]

да, с помощью phantomjs

Answer 4

[shurshur]

Если нужно выполнять прямые запросы - requests. Придётся самостоятельно разобраться в устройстве сайта, в том числе в динамически генерируемом контенте.

Если надо изображать настоящий браузер с js - selenium.

Никакого волшебного аналога selenium "без браузера" не существует и не может существовать, ведь он должен имитировать полноценный браузер с окном, документом, скриптами и css, а без настощего браузера (хотя бы headless) этого не достичь.

Answer 5

[Александр Коваленко]

В Selenium есть возможность включать headless mode что отключать граф оболочку браузера

Answer 6

[Emil Revencu]

Можно использовать и requests только.
Нужно использовать правильно куки и знать все запросы при кликах

Answer 7

[Василий Никонов]

Все «тумблеры» selenium

Понятный видеоролик на эту тему