Selenium. Как получить список элементов если список прокручивается?

Question

[TechNOIR]

Добрый день.
Хочу получить список артистов на Deezer.com
Но получаю только первые результаты. Но на странице артистов больше если прокручивать вниз - они появляются.
Как в таком случае получить весь список? Спасибо заранее

[Reflection.Assembly]::LoadFrom("C:\selenium\net40\WebDriver.dll")
$ie = New-Object OpenQA.Selenium.PhantomJS.PhantomJSDriver
$url = "http://www.deezer.com/tags/industrial_rock/artist"
$ie.Navigate().GoToUrl($url)
$ie.FindElementsByClassName("evt-click").getattribute("href") | sort -unique
$ie.Quit()

Comments

[Толстый Лорри]

Скроллиться вниз, ждать, пока пройдут все аяксовые запросы. Так до тех пор, пока не появится признак, что больше запросов не будет (от сайта зависит, допустим, просто перестанут добавляться новые значения).

[qlkvg]

Примерно в этот момент должно прийти осознание, что использовать selenium для парсинга - не лучшая идея.

[TechNOIR]

qlkvg: :) :) Подскажите варианты замены Селениума. Если не трудно.

[qlkvg]

requests/urllib для питона, аналогичные библиотеки для других языков. парсить на порядок сложнее, но и результат получается на порядок более предсказыемый. селениум очень удобный и легкий, но когда дело доходит до ожидания рендеринга страницы кусками, зачастую наступает ад.