Как решить проблему «TimeoutError: [Errno 110] Connection timed out»?

Question

[drqqv]

Здравствуйте, есть проблема при парсинге сайта. Суть: имеется скрипт который парсит сайт, на локальной машине все работает отлично, без ошибок, а при запуске данного скрипта на сервере, после 300-400 запросов, получаю ошибку:

Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 169, in _new_conn
conn = connection.create_connection(
File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 96, in create_connection
raise err
File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 86, in create_connection
sock.connect(sa)
TimeoutError: [Errno 110] Connection timed out

Не знаю что делать, в интернете не нашел нужной информации ( Если кто-то сталкивался с такой проблемой, помогите, пожалуйста )

Comments

[Алан Гибизов]

То, чем вы занимаетесь, не парсинг, а скрапинг.

Answer 1

[Алан Гибизов]

Сделайте задержку, желательно случайной длительности.

Comments

[drqqv]

Я пробовал ставить задержку в 5 секунд, каждые 200 запросов. И между каждым запросом в 0.2 сек. А также While True перед каждым запросом try: запрос except: time.sleep(5)

[newPsevdonim]

drqqv, ваши запросы большими пачками и с одинаковым слипами для систем защиты как красный флаг.

Слипы желательно делать рандомными и не меньше 30 секунд, пачки запросов тоже желательно делать разной велечины

Можно оборачивать в try-except и бесконечный цикл, который прерываешь в случае успеха, а в случае ошибки идти спать. Я таким образом с одного сайта больше 20к URL смог пропарсить