Как обращаться к разным страницам сайта, используя одно соединение с python requests?

Question

[ireFox]

Я хочу считать множество (около ста) страниц одного сайта. Для примера будет example.com

В python я делаю так.

def myFunc(pages):
    forreturn=[]
    session=requests.session()
    for page in pages:    #Список с нужными мне адресами страниц на сайте
        url = 'http://example.com/' + page 
        #получаем нечто вроде 'http://example.com/sub1/page.html'
        # И именно часть с sub1 каждый раз разная.
        answer = session.get(url)
        soup=Soup(answer.text)
        # Тут парсим нужные данные и складываем их .append-ом в список forreturn
    return forreturn

Как я понял, в таком случае, для открытия каждого нового url создается новое поключение к серверу.
Можно-ли получать эти страницы с разными URL, создавая всего одно подключение?
(как я понял, в таком случае ответы будут приходить быстрее и нагрузка а сервер - меньше)

Answer 1

[Станислав Фатеев]

В рамках одной сессии requests не будет создавать новые подключения. Так написано в документации. Проверить это можно посмотрев заголовки запросов: в них должно быть "Connection: Keep-Alive"

Comments

[ireFox]

Я экспериментировал с небольшим списком страниц и при первом проходе по нему каждая из них открывалась дольше, чем при последующих итерациях. (функция из примера вызывалась в цикле, замерялось время выполнения каждого запроса)
Создалось ощущение, что он таки создает для каждой страницы отдельное подключение, но использует его повторно при обращении к той-же странице.

[Станислав Фатеев]

ireFox: нет времени потестить сейчас, а вот это не может быть причиной? "Note that connections are only released back to the pool for reuse once all body data has been read; be sure to either set stream to False or read the content property of the Response object."

[ireFox]

Станислав Фатеев: soup=Soup(answer.text) не считается за "ead the content property of the Response object"? Если нет - пожалуйста, подскажите, что именно это значит или как "set stream to False", я новичок в питоне и не совсем понимаю, что это значит.

[Станислав Фатеев]

ireFox: добавьте в ваш код import logging; logging.basicConfig(level=logging.DEBUG) и посмотрите что он выводит