@ireFox

Как обращаться к разным страницам сайта, используя одно соединение с python requests?

Я хочу считать множество (около ста) страниц одного сайта. Для примера будет example.com

В python я делаю так.

def myFunc(pages):
    forreturn=[]
    session=requests.session()
    for page in pages:    #Список с нужными мне адресами страниц на сайте
        url = 'http://example.com/' + page 
        #получаем нечто вроде 'http://example.com/sub1/page.html'
        # И именно часть с sub1 каждый раз разная.
        answer = session.get(url)
        soup=Soup(answer.text)
        # Тут парсим нужные данные и складываем их .append-ом в список forreturn
    return forreturn


Как я понял, в таком случае, для открытия каждого нового url создается новое поключение к серверу.
Можно-ли получать эти страницы с разными URL, создавая всего одно подключение?
(как я понял, в таком случае ответы будут приходить быстрее и нагрузка а сервер - меньше)
  • Вопрос задан
  • 3037 просмотров
Пригласить эксперта
Ответы на вопрос 1
svfat
@svfat
☺Нужен VPS? Два месяца бесплатно. Смотри профиль☺
В рамках одной сессии requests не будет создавать новые подключения. Так написано в документации. Проверить это можно посмотрев заголовки запросов: в них должно быть "Connection: Keep-Alive"
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
17 мая 2021, в 22:44
15000 руб./за проект
17 мая 2021, в 22:34
5000 руб./за проект
17 мая 2021, в 22:17
5000 руб./за проект