Задать вопрос

Парсин с сайта, парсим текст, нестандартный урл, как парсить?

Парсер:
async def parse_username():
    url = "https://getgems.io/collection/EQCA14o1-VWhS2efqoh_9M1b_A9DtKTuoqfmkn83AbJzwnPi"
    response = requests.get(url).text
    headers = {"User-Agent": UserAgent().random}

    async with aiohttp.ClientSession() as session:
        response = await session.get(url, headers=headers)
        if response.status == 200: #проверяем доступен ли сайт
             soup = BeautifulSoup(await response.text(), 'lxml')
             items = soup.find_all('div', class_='NftPreview__title')

             for item in items:
                username = item.text.strip()
                delay = random.randint(4, 7)
                await asyncio.sleep(delay)
                print(f"Юзернейм - {username}")

        else:
            print(f"Сайт недоступен.")

    return None


Что я пытаюсь парсить:
6548f7fa540f3031472619.jpeg

За одно подскажите, почему не выводит ошибку, там же проверка стоит if response.status == 200:, если в друг сайт недоступен, то должно выводить сообщение print(f"Сайт недоступен.")
  • Вопрос задан
  • 205 просмотров
Подписаться 1 Простой 1 комментарий
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillbox
    Профессия Графический дизайнер PRO
    15 месяцев
    Далее
  • Нетология
    Фронтенд-разработчик
    11 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
Скорее всего на сайт динамически подгружается контент. Ошибка не возникает потому что фактически страница загрузилась, и уже после загрузки страницы на ней отображается информация.
Что бы парсить такие сайты нужен Selenium или что то похожее
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы