@Miksanmir

Падает парсер. Как исправить ошибку HTTPSConnectionPool?

Добрый день!

Написал парсер

import requests
from bs4 import BeautifulSoup 
import pandas as pd
import re
from urllib.parse   import quote
import time

ogrn_hotel = []
for i in range(1,5000):
    r = requests.get(f'https://xn----7sba3acabbldhv3chawrl5bzn.xn--p1ai/displayAccommodation/{i}')
    ogrn = re.findall(r'span class="detail-label">ОГРН/ОГРНИП:</span>\r\n              <span class="detail-value">(.+?)</span>', r.text)
    ogrn_hotel.append(ogrn)

df = pd.DataFrame(ogrn_hotel )


Выдает следующую ошибку, когда i больше 1000

HTTPSConnectionPool(host='xn----7sba3acabbldhv3chawrl5bzn.xn--p1ai', port=443): Max retries exceeded with url: /displayAccommodation/1981 (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x00000238115F1430>: Failed to establish a new connection: [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера'))


Какие правки нужно внести, чтобы этой ошибки не выдавал и код работал корректно?
  • Вопрос задан
  • 46 просмотров
Решения вопроса 1
azureswastika
@azureswastika
????
скорее всего, нужно использовать паузу между итерациями. попробуйте sleep из модуля time
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы