Как организовать переход по страницам сайта при парсинге?

Question

[Lim_Drake]

Здравствуйте! Пишу парсер сайта Циан(https://cian.ru/), использую Selenium, чтобы собрать номера телефонов с сайта.
Собственно вопрос, на сайте нет кнопки перехода на следующую страницу, тогда это было бы легко организовать, я думаю.
Все кнопки имеют один класс:

html код кнопок

Как это выглядит

Это код со 2 страницы, класс страницы на которой мы находимся дополняется ещё одним(_93444fe79c--list-item--active--3dOSi)
Возможно сделать переход по кнопке, рядом с активной?
Как я думаю, просто поиском кнопки по нужному классу обойтись не удастся, потому что они имеют один класс, или я не прав?

Comments

[ZIK1337]

в ссылке есть номер страницы

Answer 1

[Сергей Карбивничий]

Либо я чего-то не понял, или зачем все так усложнять.
Вот ссылка:

https://www.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat&p=8&region=1&room1=1&room2=1

Параметр p отвечает за текущую страницу. Как видно из url, сейчас это 8-я страница.

Comments

[Lim_Drake]

Да, вы правы, можно сделать и так, именно в таком виде я уже организовал парсинг нескольких страниц, я беру ссылку и с помощью urllib изменяю параметр p в ссылке, и с помощью цикла провожу парсинг страниц
Мне просто интересно, возможно ли организовать это без перезапуска браузера на каждой итерации, т е кликать на странице по ссылкам автоматически

[Lim_Drake]

Или же я могу при одном запуске браузера, открывать несколько ссылок?
Вроде бы у Селениума есть метод Close() который закрывает вкладку, чтобы не оставлять предыдущие страницы

[Александр]

Lim_Drake, просто меняйте параметр и используйте driver.get() откроется следующая страница в этой же вкладке и не нужно будет перезапускать браузер.