Задать вопрос

Парсин с сайта, парсим текст, нестандартный урл, как парсить?

Парсер:
async def parse_username():
    url = "https://getgems.io/collection/EQCA14o1-VWhS2efqoh_9M1b_A9DtKTuoqfmkn83AbJzwnPi"
    response = requests.get(url).text
    headers = {"User-Agent": UserAgent().random}

    async with aiohttp.ClientSession() as session:
        response = await session.get(url, headers=headers)
        if response.status == 200: #проверяем доступен ли сайт
             soup = BeautifulSoup(await response.text(), 'lxml')
             items = soup.find_all('div', class_='NftPreview__title')

             for item in items:
                username = item.text.strip()
                delay = random.randint(4, 7)
                await asyncio.sleep(delay)
                print(f"Юзернейм - {username}")

        else:
            print(f"Сайт недоступен.")

    return None


Что я пытаюсь парсить:
6548f7fa540f3031472619.jpeg

За одно подскажите, почему не выводит ошибку, там же проверка стоит if response.status == 200:, если в друг сайт недоступен, то должно выводить сообщение print(f"Сайт недоступен.")
  • Вопрос задан
  • 239 просмотров
Подписаться 1 Простой 1 комментарий
Помогут разобраться в теме Все курсы
  • Нетология
    1C-программист: расширенный курс
    18 месяцев
    Далее
  • Яндекс Практикум
    Вайбкодинг
    2 месяца
    Далее
  • Академия Эдюсон
    Python-разработчик + ИИ
    9 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
Скорее всего на сайт динамически подгружается контент. Ошибка не возникает потому что фактически страница загрузилась, и уже после загрузки страницы на ней отображается информация.
Что бы парсить такие сайты нужен Selenium или что то похожее
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы