Задать вопрос

Парсин с сайта, парсим текст, нестандартный урл, как парсить?

Парсер:
async def parse_username():
    url = "https://getgems.io/collection/EQCA14o1-VWhS2efqoh_9M1b_A9DtKTuoqfmkn83AbJzwnPi"
    response = requests.get(url).text
    headers = {"User-Agent": UserAgent().random}

    async with aiohttp.ClientSession() as session:
        response = await session.get(url, headers=headers)
        if response.status == 200: #проверяем доступен ли сайт
             soup = BeautifulSoup(await response.text(), 'lxml')
             items = soup.find_all('div', class_='NftPreview__title')

             for item in items:
                username = item.text.strip()
                delay = random.randint(4, 7)
                await asyncio.sleep(delay)
                print(f"Юзернейм - {username}")

        else:
            print(f"Сайт недоступен.")

    return None


Что я пытаюсь парсить:
6548f7fa540f3031472619.jpeg

За одно подскажите, почему не выводит ошибку, там же проверка стоит if response.status == 200:, если в друг сайт недоступен, то должно выводить сообщение print(f"Сайт недоступен.")
  • Вопрос задан
  • 152 просмотра
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 1
Скорее всего на сайт динамически подгружается контент. Ошибка не возникает потому что фактически страница загрузилась, и уже после загрузки страницы на ней отображается информация.
Что бы парсить такие сайты нужен Selenium или что то похожее
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы