Какие способы выполнения js на сайте самые быстрые с помощью python?

Question

[Andrei1penguin1]

Доброго времени суток, есть задача заполнять и отправлять формы на сайте, селен для моей семьи задачи очень медленный, нужно отправлять около 10 форм в секунду
Есть ли способы быстрее?

Answer 1

[Ищю в поисковиках]

Да, есть, по http.

Предварительно нужно разобрать, какие заголовки вешаются и какие данные передаются (в каком виде).

Comments

[Andrei1penguin1]

А какие библиотеки в питоне помогают это реализовать?

[Ищю в поисковиках]

Andrei1penguin1, request ?

[Andrei1penguin1]

Так реквест для гет запросов, а формы на посте

[Ищю в поисковиках]

Andrei1penguin1, можно и post запросы отсылать

https://stackoverflow.com/questions/9733638/how-to...

https://requests.readthedocs.io/en/master/

[Andrei1penguin1]

Dr. Bacon, ух ты, тут да, я прокололся
Не знал

[Andrei1penguin1]

Разве requests не слишком медленный?

[Andrei1penguin1]

Может имеет смысл urllib?

[shurshur]

Andrei1penguin1, requests умеет все виды запросов, в том числе и POST.

[Andrei1penguin1]

shurshur, так а что лучше, requests или urllib3?

[Andrei1penguin1]

Dr. Bacon, то есть логичнее urllib3, чтобы избавиться от лишних оберток и потери скорости?

[shurshur]

Andrei1penguin1, логичнее requests, он очень удобный и продуманый, в нём, например, можно по response сразу получить json вызовом метода.

[Летний Бриз]

Andrei1penguin1, если очень скорость важна используй async и aiohttp

[Andrei1penguin1]

shurshur, мне не простота нужна, а качество

[Andrei1penguin1]

Летний Бриз, спасибо, а за счёт чего aiohttp быстрее?

[Andrei1penguin1]

За счёт параллелизма?

[Летний Бриз]

Andrei1penguin1, За счет асинхронного выполнения. Распаралелить тоже можно, там все равно основное время, это ожидание ответа от сервера, но обычно, именно асинхронно делают при таких операциях, это менее затратно по ресурсам.

[shurshur]

Andrei1penguin1, на пальцах объясню.

При обычном способе работы если нам нужно выполнить сто запросов, то мы по очереди делаем запросы. При этом сами запросы и обработка ответов занимает допустим 10 мс, а ещё 90 мс занимает отправка по сети, ожидание ответа и всё такое. В итоге один запрос - 100 мс, всего 10 запросов в секунду.

При асинхронном способе работы мы можем отправить сразу 10 запросов, далее ожидать по каждому 90 мс ответа одновременно, в итоге мы потратим 100 мс на нашу работу (генерация запросов плюс обработка ответов) и 90 мс на ожидание, 10 запросов за 190 мс.

Конечно, не всё так просто и вовсе необязательно эффективность будет настолько высокой, но в целом принцип такой. Правда, попытки написания асинхронного кода с непривычки могут прилично взорвать мозг. И если там не будет реальной параллельной работы, все эти ухищрения могут оказаться бессмысленны и даже вредны.

[Andrei1penguin1]

shurshur, спасибо больше!

Answer 2

[Andrey Dugin]

Используйте модули asyncio и aiohttp