Парсин с сайта, парсим текст, нестандартный урл, как парсить?

Парсер:
async def parse_username():
    url = "https://getgems.io/collection/EQCA14o1-VWhS2efqoh_9M1b_A9DtKTuoqfmkn83AbJzwnPi"
    response = requests.get(url).text
    headers = {"User-Agent": UserAgent().random}

    async with aiohttp.ClientSession() as session:
        response = await session.get(url, headers=headers)
        if response.status == 200: #проверяем доступен ли сайт
             soup = BeautifulSoup(await response.text(), 'lxml')
             items = soup.find_all('div', class_='NftPreview__title')

             for item in items:
                username = item.text.strip()
                delay = random.randint(4, 7)
                await asyncio.sleep(delay)
                print(f"Юзернейм - {username}")

        else:
            print(f"Сайт недоступен.")

    return None


Что я пытаюсь парсить:
6548f7fa540f3031472619.jpeg

За одно подскажите, почему не выводит ошибку, там же проверка стоит if response.status == 200:, если в друг сайт недоступен, то должно выводить сообщение print(f"Сайт недоступен.")
  • Вопрос задан
  • 94 просмотра
Пригласить эксперта
Ответы на вопрос 1
Скорее всего на сайт динамически подгружается контент. Ошибка не возникает потому что фактически страница загрузилась, и уже после загрузки страницы на ней отображается информация.
Что бы парсить такие сайты нужен Selenium или что то похожее
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы