Возможно ли быстрее получать ответы с сервера на HTTP-запрос?

Question

[aftnia11]

Посредством библиотеки requests получаю ответы с сервера (предварительно беру нужные ссылки из простого txt файла):

f2=open("c:\\test.txt", 'a')

for z in list_up_to:
    response = requests.head(z)
    if z == list[-1]:
       break
    if response.status_code == 200:
	f2.write(str(z))
	z+=z
    else:
	z+=z
	continue

f2.close()

Но появилась проблема в том, что при большом объеме ссылок, он их долго обрабатывает. Можно ли ускорить? Из-за чего вообще такая медлительность? Дело именно в HTTP-запросах или в том, что беру ссылки из txt файла?

Comments

[Сергей Горностаев]

Проведите профилирование и посмотрите на что тратится больше всего времени. Если на ожидание ответа от сервера, то можно попытаться использовать асинхронность.

Answer 1

[Николай Савельев]

У каждого сайта своё время ответа.
Здесь дело не в HTTP-запросах, а в самих сайтах

Answer 2

[rPman]

в коде какая то дичь, обычно редко трогают переменную, используемую как итератор в циклах for что это за z+=z

я верно понимаю, в коде берутся ссылки из массива, загружаются заголовки и отмечается в файле - какие рабочие?

хочешь скорости - делай сразу несколько запросов, например используя асинхронные вызовы, если их не тысячи, можно даже все сразу запросить, дождаться окончания или таймаута и выдать ответ, так будет быстрее всего