Как улучшить парсер?

Question

sanglobalenus @sanglobalenus

Python

Как улучшить парсер?

Добрый день!

Можете подсказать, как можно модифицировать код, чтобы он через раз в списке soups не выдавал ошибку, описание которой я добавил после кода...

soups = []

list_names = ['Александр', 'Иван']
for name in tqdm(list_names):
    for number in tqdm(range(2,4)):    
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
        p = {'searchQuery' : name, 
             'page' : number}
        r = requests.get(f'https://cs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})

        
        soups.append(r.text)

<html>
<head><title>504 Gateway Time-out</title></head>
<body bgcolor="white">
<center><h1>504 Gateway Time-out</h1></center>
</body>
</html>
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->

Вопрос задан более двух лет назад
71 просмотр

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

4 комментария

sanglobalenus @sanglobalenus Автор вопроса

Привет!

Вот сделал так...

for name in tqdm(list_names[3:4]):
    for number in tqdm(range(1,20)):  
        while True:
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
            p = {'searchQuery' : name, 
                 'page' : number}
            r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})
            if r.status_code == 200:
                break

Сделал через цикл While... Как можно сделать так, чтобы он не ждал окончательного ответа, а через какое-то определенное время посылал запрос заново?
А то 20 страниц всю ночь может парсить...

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

Miksanmir, не понял немного

Написано более двух лет назад
sanglobalenus @sanglobalenus Автор вопроса

soremix, код в предыдущем сообщении зачастую зависает на одной странице и висит, как его можно оптимизировать?

Написано более двух лет назад

soremix @SoreMix Куратор тега Python

Miksanmir, можно сделать таймаут на подключение, если я правильно понял.

from requests.exceptions import ConnectTimeout

try:
    r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'}, timeout=5)
except except ConnectTimeout:
    continue

Или речь идет о том, что долго не получается получить 200 ответ? Тогда например так:

for name in tqdm(list_names[3:4]):
    for number in tqdm(range(1,20)): 
        current_retries = 0
        while True:
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
            p = {'searchQuery' : name, 
                 'page' : number}
            r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})
            if r.status_code == 200:
                break
            else:
                current_retries += 1
                if current_retries  >= 5: # по желанию
                    break

Написано более двух лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

+2 ещё

Простой
Как получить api у персонажа из character ai?
- 1 подписчик
- 15 часов назад
- 84 просмотра
1

ответ
Python

+2 ещё

Простой
Почему не срабатывает обработчик @for_user_router.message(F.successful_payment) успешного платежа SuccessfulPayment через Telegram API?
- 1 подписчик
- 19 часов назад
- 74 просмотра
1

ответ
Python

Простой
Обработка params ?fields в апи запросе для вывода в response?
- нет подписчиков
- 22 часа назад
- 96 просмотров
1

ответ
Python

+1 ещё

Простой
VSCode python не дает подсказки кода, как исправить?
- 1 подписчик
- 22 часа назад
- 62 просмотра
1

ответ
Python

Простой
Почему бот не получает сообщения?
- 1 подписчик
- 22 часа назад
- 65 просмотров
0

ответов
Python

Простой
Почему не происходит запись значений в файл?
- 1 подписчик
- вчера
- 102 просмотра
2

ответа
Python

+2 ещё

Простой
Как получить содержимое сообщения до его редактирования в discord через requests?
- 1 подписчик
- 24 июн.
- 66 просмотров
1

ответ
Python

+1 ещё

Простой
Как сделать парсер для excel таблицы?
- 1 подписчик
- 24 июн.
- 109 просмотров
2

ответа
Python

+2 ещё

Простой
Есть ли кроссплатформенное решение для ассоциации кастомной схемы URI со своим приложением?
- 2 подписчика
- 24 июн.
- 136 просмотров
1

ответ
Python

Простой
Как исправить utf-8' codec can't decode в phyton?
- 1 подписчик
- 23 июн.
- 76 просмотров
2

ответа
Показать ещё Загружается…

Python разработчик (ОФИС)

SpectrumData • Екатеринбург

от 150 000 до 250 000 ₽

Python разработчик

Гринатом • Москва

от 150 000 ₽

Python / ML Engineer

DIGITAL SECTOR • Краснодар

от 150 000 до 250 000 ₽

Верстка лендинга на 15 блоков

27 июн. 2024, в 10:29

18000 руб./за проект

Специалист по отбору блогеров для интеграций в Instagram

27 июн. 2024, в 10:27

500 руб./в час

Сравнительный анализ (краткий)

27 июн. 2024, в 10:26

5000 руб./за проект

Answer 1 · 2021-10-07 12:37:30

Это уже сервер ругается. Как варианты я бы посмотрел на

1. Поставить задержку между запросами. Думаю, что на популярных именах очень много данных и сервер падает
2. Добавить банальную проверку уровня if r.status_code != 200:. И если статус код не 200, то отправлять запрос на эту же страницу заново, пока она не ответ нормально.
3. Ко второму пункту можно добавить число попыток, допустим 3 ретрая через каждые 5-10 секунд. Если после трех попыток не получилось - переходим к следующей страницы (ну или к следующему имени)

Как улучшить парсер?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт