@alexsemen94
начинающий прогаммист

Можно ли синхронизировать библиотеки с sellenium, pandas или beautifulsoup для парсинга?

Здравствуйте, у меня такая задача, нужно спарсить закрытую часть сайта, то есть админку сайта, я логинюсь с помощью selenium, но вот дальше не знаю, что делать чтобы запарсить основную информацию, как передать авторизированную сессию дальше для разбора в pandas или другую библиотеку, если я вообще правильно выражаюсь, я пока только новичок, может есть другие варианты или может можно весь парсинг сделать с помощью selenium
  • Вопрос задан
  • 429 просмотров
Пригласить эксперта
Ответы на вопрос 2
Вы можете получить код страницы через свойства драйвера page_source и затем передать его в beautifulsoup для парсинга вот примерно таким образом:
soup = BeautifulSoup(driver.page_source)
Или же передать код сразу в pandas при помощи функции read_html. Но это только в том случае если у вас на странице данные в табличном виде.

Вообще, как сказано выше, Selenium не очень хорошо подходит для этих целей. Если вы и дальше планируете парсить сайты, то рекомендую освоить для этого scrapy или связку из requests и beautifulsoup.
Ответ написан
@cgxcwojf
Selenium - это для других целей.
SlimerJS для парзинга.
или PhantomJS, если вам нужно визуально процесс контролировать.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы