Kак пройтись по всем страницам на сайте. Страницы переключаются js скриптом?

Question

[kopelev2000]

Подскажите, пожалуйста, как пройтись по всем страницам на сайте.
Страницы переключаются js скриптом:

Идей нет вообще... .

Comments

[Максим Федоров]

зайти на страницу
подождать (пока js отрисует)
перейти

[Web Dentist]

а можно ваши наработки ?

Answer 1

[Оксана ...]

Так же как и вручную: в верстке ищете эти цифры и от цифры 2 (так как первая уже открыта) селениумом делаете click() на объект. Ждете 3-5 секунд загрузку страницы полностью и парсите информацию. Далее переход на 3 и опять ждать, парсить; потом на 4 ... и так пока не кончатся страницы. И не забыть указать условие «если элемент не найден, то...»
А еще, судя по строке поиска, там номер страницы как р=1 отображается. То есть можно driver.get() тоже адрес давать увеличивая каждый раз на единицу.

Comments

[kopelev2000]

Пробовал так, выбивает ошибку:
Element is not longer attached to the DOM

[Оксана ...]

В таком случае не кликать, а записать href (страниц номер 2-3-4) в массив, а потом по каждому делать driver.get(адрес хреф из массива). Но вот когда он дойдет до страницы номер 4 дальше надо что-то придумать - пройтись по странице и заново заполнить массив ссылками 5-6-7-8, наверное (с этой частью не сталкивалась раньше, может кто умнее что-нибудь посоветует).

[Emil Revencu]

смотрите в URL есть &p=1. Попробуйте менять значение на p=2, p=3, p=4, ... и использовать обновлённый линк

[kopelev2000]

Emil Revencu, при парсинге URL строка выгдлядит вот так:

(До красной полоски), поэтому мне этот вариант не подходит

Answer 2

[Александр]

Ну селениум конечно хорош - но можно было и так:
https://www.udemy.com/api-2.0/discovery-units/all_...
(у вас эта ссылка может быть немного другой - надо смотреть в сетевой активности)
p=1 и page_size=12(этот поставить на 100500 и дернуть все разом)

и ответ уже в JSON

Answer 3

[Вадим Шаталов]

Selenium

Comments

[Dimonchik]

у него он и так )))