Парсер на Selenium почему то получает не все элементы?

Проблема в том что нужно получать все ссылки на объявления, а он получает ссылки только на первые 2 объявления и дублирует ссылки почему

from selenium import webdriver
from time import sleep
base_link = 'https://www.milanuncios.com/moda-mujer/?vendedor=part&orden=relevance&fromSearch='

class MilanunciosParser(object):
    def __init__(self, driver):
        self.driver = driver  

    def parse(self):
        self.page()  

    def page(self):
        self.driver.get(base_link) 

        main_div = self.driver.find_elements_by_class_name('ma-AdCard-titleLink')  

        for url in main_div:  
            print(url.get_attribute('href'))

def main():
    driver = webdriver.Chrome()
    parser = MilanunciosParser(driver)
    parser.parse()


if __name__ == '__main__':
    main()


Вывод:
https://www.milanuncios.com/abrigos-y-chaquetas/ultimo-dia-de-la-gran-oferta-394525989.htm
https://www.milanuncios.com/abrigos-y-chaquetas/ultimo-dia-de-la-gran-oferta-394525989.htm
https://www.milanuncios.com/jerseys-mujer/jersey-lana-negro-aplicaciones-386796487.htm
https://www.milanuncios.com/jerseys-mujer/jersey-lana-negro-aplicaciones-386796487.htm
  • Вопрос задан
  • 166 просмотров
Решения вопроса 1
@Alexa2007
Это не ошибка парсера, это такая страница, там действительно два одинаковых класса. Придется дописать скрипт, который будет проверять список и удалять дубликаты
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы