Как исправить ошибку requests 10054 'Удаленный хост принудительно разорвал существующее подключение'?

Question

[TRXTSSA]

Есть бот в вк, который при нажатии на кнопку делает get-запрос на страницу сайта, берет оттуда данные и затем отправляет в ЛС человеку. Первые 5-7 минут всё работает корректно, но потом выкидывается ошибка:

requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, 
'Удаленный хост принудительно разорвал существующее подключение', None, 10054, None))

Не понимаю, почему сервер разрывает подключение

Comments

[alexgurd]

Вначале дайте понять, что вы не робот:
url = 'https://qna.habr.com/' - к примеру нужный юрл
HEADERS = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0', 'accept': '*/*'}

requests.get(url, headers=HEADERS)

Answer 1

[Vindicar]

Сайт не любит ботов-парсеров, скорее всего. Ибо нефиг.

Comments

[TRXTSSA]

но ведь люди как-то парсят сайты. Наверное можно обойти эту защиту

[Влад Григорьев]

TRXTSSA, наверно можно, но и чем популярнее ресурс, тем сложнее и больше нюансов, и для этого нужны знания и понимание как что работает.

[Vindicar]

TRXTSSA, нужно имитировать действия реального пользователя. Ограничивать количество/частоту запросов с одного IP. Передавать правильные заголовки запроса (можно снять с реального браузера).
Но если сайт проверяет реальность браузера через JS, то обход станет вычислительно дорогим удовольствием.

[TRXTSSA]

Vindicar, я пошел от обратного и понял, что, скорее всего, именно API вк мне выкидывает такую ошибку, так как полученное с компа изображение я каждый раз загружаю на сервер ВК (при каждом нажатии на кнопку) и отправляю пользователю. Только я пока не могу допереть, как сделать проверку на существование фотографии на сервере

[Александр]

TRXTSSA, как вариант:
При отправке картинки ВК возвращет уникальный id, и следующий раз можно передать просто id без отправки самой картинки.

Значит можно где-то хранить таблицу хеш — id картинки, и перед отправкой проверять вдруг для этой картинки, то есть для её хеша есть id. И если есть, отправлять только его.

[TRXTSSA]

Александр, спасибо за идею, переписал весь код полностью и теперь сохраняю ID фото в .txt файле