Почему не получается спарсить названия учебных заведений?

Question

[Shkarol]

Есть сайт: https://net-school.cap.ru/authorize/login
На главной странице есть , который отвечает за выбор названия учебного заведения
Я пытаюсь спарсить эти названия, но не получается
Остановился на том, что request просто не видит этот тэг

Вот код:

# импортируем модуль
    import requests
    st_accept = "text/html" # говорим веб-серверу,
                            # что хотим получить html
    # имитируем подключение через браузер Mozilla на macOS
    st_useragent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 12_3_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"
    # формируем хеш заголовков
    headers = {
       "Accept": st_accept,
       "User-Agent": st_useragent
    }
    # отправляем запрос с заголовками по нужному адресу
    req = requests.get("https://net-school.cap.ru/authorize/login", headers)
    # считываем текст HTML-документа
    src = req.text
    print(src)

Comments

[MioShina]

Попробуй использовать selenium, т.к. это динамический сайт(по словам Vindicar), и используя requests спарсить данные не получится. У меня не получилось зайти на сайт, но думаю можешь использовать метод find_elements(By.CSS_SELECTOR, "селектор"), который возвращает список всех найденных элементов.

Answer 1

[Vindicar]

Ты хотя бы в браузере пробовал открыть исходный код страницы (обычно Ctrl-U)?
Это динамический сайт, там по умолчанию в body два с половиной скрипта, которые уже подтягивают остальной контент. Конечно, ты его не получишь одним запросом.
Выясняй, какой запрос скрипты делают для получения контента, и имитируй уже его. Консоль разработчика в помощь.

Answer 2

[Артем Колеватов]

Вот адрес по которому возвращается JSON совсеми элементами. Далее только распарсить его.