Почему код парсится не полностью Python (selenium)?

Question

[DimonfromChehov]

Есть парсер на Python (selenium). Chromedriver открывает страницу которая сохраняется в html файл. После сохранения обнаружил, что парсится только видимая часть товара (пара строк) и еще около 1 одной строки ниже. Остальные товары в код не попадают. Пробовал увеличить задержку, все равно не помогло.
Такой момент: если открытую Chromedriver'ом страницу прокрутить до самого низа до того как python ее закроет то все элементы попадут в код как нужно. Как решить проблему?

Comments

[сергей кузьмин]

страница подгружается динамически

правильно все находить во время сессии а не в сохраненном html теперь вы знаете почему

Answer 1

[Алан Гибизов]

Так прокрутите chromedriver-ом страницу до низу. Есть много вариантов - да хоть в цикле жать кнопку pagedown, например, пока всё не прогрузится.