@sanglobalenus

Падает парсер. Как исправить ошибку HTTPSConnectionPool?

Добрый день!

Написал парсер

import requests
from bs4 import BeautifulSoup 
import pandas as pd
import re
from urllib.parse   import quote
import time

ogrn_hotel = []
for i in range(1,5000):
    r = requests.get(f'https://xn----7sba3acabbldhv3chawrl5bzn.xn--p1ai/displayAccommodation/{i}')
    ogrn = re.findall(r'span class="detail-label">ОГРН/ОГРНИП:</span>\r\n              <span class="detail-value">(.+?)</span>', r.text)
    ogrn_hotel.append(ogrn)

df = pd.DataFrame(ogrn_hotel )


Выдает следующую ошибку, когда i больше 1000

HTTPSConnectionPool(host='xn----7sba3acabbldhv3chawrl5bzn.xn--p1ai', port=443): Max retries exceeded with url: /displayAccommodation/1981 (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x00000238115F1430>: Failed to establish a new connection: [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера'))


Какие правки нужно внести, чтобы этой ошибки не выдавал и код работал корректно?
  • Вопрос задан
  • 176 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы