@aftnia11

Возможно ли быстрее получать ответы с сервера на HTTP-запрос?

Посредством библиотеки requests получаю ответы с сервера (предварительно беру нужные ссылки из простого txt файла):

f2=open("c:\\test.txt", 'a')

for z in list_up_to:
    response = requests.head(z)
    if z == list[-1]:
       break
    if response.status_code == 200:
	f2.write(str(z))
	z+=z
    else:
	z+=z
	continue

f2.close()

Но появилась проблема в том, что при большом объеме ссылок, он их долго обрабатывает. Можно ли ускорить? Из-за чего вообще такая медлительность? Дело именно в HTTP-запросах или в том, что беру ссылки из txt файла?
  • Вопрос задан
  • 60 просмотров
Пригласить эксперта
Ответы на вопрос 2
AgentSmith
@AgentSmith
Это мой ответ на твой вопрос
У каждого сайта своё время ответа.
Здесь дело не в HTTP-запросах, а в самих сайтах
Ответ написан
Комментировать
@rPman
в коде какая то дичь, обычно редко трогают переменную, используемую как итератор в циклах for что это за z+=z

я верно понимаю, в коде берутся ссылки из массива, загружаются заголовки и отмечается в файле - какие рабочие?

хочешь скорости - делай сразу несколько запросов, например используя асинхронные вызовы, если их не тысячи, можно даже все сразу запросить, дождаться окончания или таймаута и выдать ответ, так будет быстрее всего
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
SpectrumData Екатеринбург
от 150 000 до 250 000 ₽
AGIMA Москва
от 250 000 ₽
18 мая 2022, в 00:48
3000 руб./за проект
18 мая 2022, в 00:31
100000 руб./за проект
18 мая 2022, в 00:09
15000 руб./за проект