Как можно делать много запросов в минуту как можно быстрее?

Question

[Ternick]

Мой python скрипт должен парсить инфу с нескольких сайтов и желательно как можно быстрее.
Мои мысли:
1) В обычном requests в одном потоке всё работает ультра медленно.
2) Потом мне в голову пришла идея использовать не один поток, а несколько, но в интернете прочитал что всё равно я не смогу делать несколько запросов за раз из-за GIL (или как то так, там говориться что его задача упорядочивать потоки и быть в роли светофора.)
3)Последним что мне пришло в голову это асинхронность, но я даже не знаю как её применить к запросам так что бы это было эффективнее.
Как можно реализовать мою задумку или быстрее чем потоки ничего нет ?

Answer 1

[Web Dentist]

Если прокси бесплатный - не надейтесь на скорость.

но я даже не знаю как её применить к запросам так что бы это было эффективнее.

Просто откройте туториалы по aiohttp - их куча.

Варианты.
1. Купить серверный процессор с большим кол-вом потоков, при этом оперативки чем больше тем лучше.
2. Купить интернет получше.
3. Купить прокси с минимальным пингом.
4. Перейте на GoLang.

Comments

[Ternick]

А что даст переход на Go ?

[Web Dentist]

Ternick, Я вам точно не скажу, если шерстить гугл с вопросом "Какой ЯП лучше всего показывает себя в парсинге?", то можно наткнуться на "исследования", которые говорят что Go будет пошустрее.

[antonksa]

Воу-воу, палехче, во-первых причем здесь многоядерные процессоры если у человека 1% load CPU потому что все торчит в system space ожидая пока приедет ответ на TCP запрос. Ему надо запустить побольше тредов, идеально создавать по треду на каждый запрос, убивать тред после ответа, нужен оркестратор тредов, который будет мерять загрузку процессора и держать количество одновременных запросов на уровне скажем 80% CPU. Aiohttp не вариант, это не для начинающих. Во-вторых отправлять человека учить Го из питонячей ветки, да еще и написав бред из 4-х пунктов как минимум невежливо. Ну а ответ "я вам точно не скажу, идите погуглите" это вообще феерично.

[Web Dentist]

antonksa, Окей

Answer 2

[antonksa]

Есть готовые многопоточные и асинхронные парсеры и пауки. Я бы рекомендовал не изобретать велосипед, тем более судя по вашей квалификации начинающего велосипед может и не поехать, а воспользоваться готовым решением.

Answer 3

[Andrey Dugin]

Используйте aiohttp