Как улучшить парсер?

Question

sanglobalenus @sanglobalenus

Python

Как улучшить парсер?

Добрый день!

Можете подсказать, как можно модифицировать код, чтобы он через раз в списке soups не выдавал ошибку, описание которой я добавил после кода...

soups = []

list_names = ['Александр', 'Иван']
for name in tqdm(list_names):
    for number in tqdm(range(2,4)):    
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
        p = {'searchQuery' : name, 
             'page' : number}
        r = requests.get(f'https://cs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})

        
        soups.append(r.text)

<html>
<head><title>504 Gateway Time-out</title></head>
<body bgcolor="white">
<center><h1>504 Gateway Time-out</h1></center>
</body>
</html>
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->

Вопрос задан более трёх лет назад
73 просмотра

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

4 комментария

sanglobalenus @sanglobalenus Автор вопроса

Привет!

Вот сделал так...

for name in tqdm(list_names[3:4]):
    for number in tqdm(range(1,20)):  
        while True:
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
            p = {'searchQuery' : name, 
                 'page' : number}
            r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})
            if r.status_code == 200:
                break

Сделал через цикл While... Как можно сделать так, чтобы он не ждал окончательного ответа, а через какое-то определенное время посылал запрос заново?
А то 20 страниц всю ночь может парсить...

Написано более трёх лет назад

soremix @SoreMix Куратор тега Python

Miksanmir, не понял немного

Написано более трёх лет назад
sanglobalenus @sanglobalenus Автор вопроса

soremix, код в предыдущем сообщении зачастую зависает на одной странице и висит, как его можно оптимизировать?

Написано более трёх лет назад

soremix @SoreMix Куратор тега Python

Miksanmir, можно сделать таймаут на подключение, если я правильно понял.

from requests.exceptions import ConnectTimeout

try:
    r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'}, timeout=5)
except except ConnectTimeout:
    continue

Или речь идет о том, что долго не получается получить 200 ответ? Тогда например так:

for name in tqdm(list_names[3:4]):
    for number in tqdm(range(1,20)): 
        current_retries = 0
        while True:
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
            p = {'searchQuery' : name, 
                 'page' : number}
            r = requests.get(f'https://www.renins.ru/docs/agents', params = p, headers=headers, cookies={'abc': 'all', 'count': '10'})
            if r.status_code == 200:
                break
            else:
                current_retries += 1
                if current_retries  >= 5: # по желанию
                    break

Написано более трёх лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

+1 ещё

Простой
TypeError: Parameters to generic types must be types. Got Ellipsis.?
- 1 подписчик
- 5 часов назад
- 47 просмотров
1

ответ
Python

Простой
Как узнать расширение файла, если у него нет имени?
- 1 подписчик
- вчера
- 180 просмотров
1

ответ
Python

Простой
Как сгенерировать промежуточные координаты?
- 2 подписчика
- 26 нояб.
- 370 просмотров
3

ответа
Python

+1 ещё

Простой
Как профилировать память работающего fastapi-приложения на python?
- 1 подписчик
- 25 нояб.
- 63 просмотра
1

ответ
Python

+2 ещё

Простой
Google Chrome блокирует скачивание файла. Возможно ли отключить?
- 1 подписчик
- 25 нояб.
- 176 просмотров
1

ответ
Python

+1 ещё

Простой
Как пройти двухфакторную авторизацию (2FA) с модулем Telethon?
- 1 подписчик
- 25 нояб.
- 70 просмотров
0

ответов
Python

+1 ещё

Простой
Код Python не обращается к файлам проекта в режиме службы?
- 1 подписчик
- 25 нояб.
- 81 просмотр
1

ответ
Python

+1 ещё

Простой
Код для автопостинга в ВК, не работает access token, как получить работающий?
- 1 подписчик
- 25 нояб.
- 90 просмотров
0

ответов
Python

+1 ещё

Простой
Как сделать, чтобы бот постоянно работал?
- 1 подписчик
- 25 нояб.
- 170 просмотров
2

ответа
Python

+2 ещё

Простой
Как мне написать watermark бота?
- 1 подписчик
- 24 нояб.
- 91 просмотр
1

ответ
Показать ещё Загружается…

Senior Python Developer (Кипр)

Wanted. • Лимассол

До 6 000 €

Python разработчик

Гринатом • Москва

от 150 000 ₽

Python разработчик (офис)

SpectrumData • Екатеринбург

от 150 000 до 250 000 ₽

Настройка целей для фиксации в Яндекс Метрике

28 нояб. 2024, в 21:25

5000 руб./за проект

Разработка приложения VPN

28 нояб. 2024, в 18:46

3000 руб./за проект

Разработка Телеграм Бота

28 нояб. 2024, в 17:46

10000 руб./за проект

Answer 1 · 2021-10-07 12:37:30

Это уже сервер ругается. Как варианты я бы посмотрел на

1. Поставить задержку между запросами. Думаю, что на популярных именах очень много данных и сервер падает
2. Добавить банальную проверку уровня if r.status_code != 200:. И если статус код не 200, то отправлять запрос на эту же страницу заново, пока она не ответ нормально.
3. Ко второму пункту можно добавить число попыток, допустим 3 ретрая через каждые 5-10 секунд. Если после трех попыток не получилось - переходим к следующей страницы (ну или к следующему имени)

Как улучшить парсер?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт