Можно ли синхронизировать библиотеки с sellenium, pandas или beautifulsoup для парсинга?

Question

[Алексей]

Здравствуйте, у меня такая задача, нужно спарсить закрытую часть сайта, то есть админку сайта, я логинюсь с помощью selenium, но вот дальше не знаю, что делать чтобы запарсить основную информацию, как передать авторизированную сессию дальше для разбора в pandas или другую библиотеку, если я вообще правильно выражаюсь, я пока только новичок, может есть другие варианты или может можно весь парсинг сделать с помощью selenium

Answer 1

[Антон Б]

Вы можете получить код страницы через свойства драйвера page_source и затем передать его в beautifulsoup для парсинга вот примерно таким образом:
soup = BeautifulSoup(driver.page_source)
Или же передать код сразу в pandas при помощи функции read_html. Но это только в том случае если у вас на странице данные в табличном виде.

Вообще, как сказано выше, Selenium не очень хорошо подходит для этих целей. Если вы и дальше планируете парсить сайты, то рекомендую освоить для этого scrapy или связку из requests и beautifulsoup.

Answer 2

[cgxcwojf]

Selenium - это для других целей.
SlimerJS для парзинга.
или PhantomJS, если вам нужно визуально процесс контролировать.