Парсинг открытия сайта по javascript event?

Question

[im_mommmys]

Здравствуйте, я столкнулся с задачей получить ссылки на все сайты. Проблема состоит в том что открытие ссылок, происходит не так как обычно, а через javascript event. К примеру есть блок div, я на него нажимаю и у меня в новой вкладке открывается какая-то ссылка. Подскажите, пожайлуста, как такое реализовать. Возможно дайте JavaScript код, который я смогу инжектировать.

Answer 1

[duff89]

Попробуйте так:

elem = driver.find_element.......
driver.execute_script("arguments[0].click();", elem)

Comments

[im_mommmys]

Это только клик, а как же дальше узнать юрл вкладки? И там не 1 элемент с одним классом на странице, а штук 20)

[duff89]

Переключится на вторую вкладку:

driver.switch_to.window(self.driver.window_handles[1])

Узнать url:
url = driver.current_url
Вернуться на первую:

driver.switch_to.window(self.driver.window_handles[0])

[im_mommmys]

duff89, не сильно понял, как все перебрать 20 элементов на странице и получить каждый юрл в список к примеру?

[duff89]

А то, что 20 элементов с одним классом, так это не удивительно. Можно также искать по Xpath, name и т.д.
Можно найти все элементы с этим классом через find_elements, потом найти нужный через индекс

[duff89]

im_mommmys, ну я же не вижу код, поэтому пишу примерно

for elem in driver.find_elements(By.CSS_SELECTOR, "div[class='hz']"): # нашли все элементы
    driver.execute_script("arguments[0].click();", elem) # клик
    driver.switch_to.window(self.driver.window_handles[1]) #вторая вкладка
    print(driver.current_url) # напечатили url
    driver.close() # закрыли вторую вкладку
    driver.switch_to.window(self.driver.window_handles[0]) #первая вкладка

[im_mommmys]

слушай, а как тут сделать работоспособным код?

for item in links:
        name = ""
        work_time = ""
        cyan_time = ""
        phone = ""

        sheet.cell(row=1, column=1).value = "Имя"
        sheet.cell(row=1, column=2).value = "Опыт работы"
        sheet.cell(row=1, column=3).value = "На Циане"
        sheet.cell(row=1, column=4).value = "Номер телефона"

        driver.get(item)

        html = BeautifulSoup(driver.page_source, "html.parser")

        if html.find("span", {"class": "_3ea6fa5da8--name--JPPsh"}):
            name = html.find("span", {"class": "_3ea6fa5da8--name--JPPsh"}).text
        if html.find("span", {"class": "_3ea6fa5da8--color_black_100--kPHhJ _3ea6fa5da8--lineHeight_22px--bnKK9 _3ea6fa5da8--fontWeight_bold--ePDnv _3ea6fa5da8--fontSize_16px--RB9YW _3ea6fa5da8--display_block--pDAEx _3ea6fa5da8--text--g9xAG _3ea6fa5da8--text_letterSpacing__normal--xbqP6"}):
            work_time = html.find("span", {"class": "_3ea6fa5da8--color_black_100--kPHhJ _3ea6fa5da8--lineHeight_22px--bnKK9 _3ea6fa5da8--fontWeight_bold--ePDnv _3ea6fa5da8--fontSize_16px--RB9YW _3ea6fa5da8--display_block--pDAEx _3ea6fa5da8--text--g9xAG _3ea6fa5da8--text_letterSpacing__normal--xbqP6"}).text
        if html.find("span", {"class": "_3ea6fa5da8--color_black_100--kPHhJ _3ea6fa5da8--lineHeight_22px--bnKK9 _3ea6fa5da8--fontWeight_bold--ePDnv _3ea6fa5da8--fontSize_16px--RB9YW _3ea6fa5da8--display_block--pDAEx _3ea6fa5da8--text--g9xAG _3ea6fa5da8--text_letterSpacing__normal--xbqP6"}):
            cyan_time = html.find("span", {"class": "_3ea6fa5da8--color_black_100--kPHhJ _3ea6fa5da8--lineHeight_22px--bnKK9 _3ea6fa5da8--fontWeight_bold--ePDnv _3ea6fa5da8--fontSize_16px--RB9YW _3ea6fa5da8--display_block--pDAEx _3ea6fa5da8--text--g9xAG _3ea6fa5da8--text_letterSpacing__normal--xbqP6"}).text
        if html.find("div", {"class": "_3ea6fa5da8--phones_minimized--XieZH"}):
            elem = driver.find_element(By.CLASS_NAME, "_9400a595a7--container--J25nK")
            driver.execute_script("arguments[0].click();", elem)
            WebDriverWait(driver, 10).until(EC.staleness_of(elem))
            phone = BeautifulSoup(driver.page_source, "html.parser").find("div", {"class": "_3ea6fa5da8--phones_minimized--XieZH"}).text
        driver.close()
        print(name, work_time, cyan_time, phone)
    driver.quit()

[duff89]

im_mommmys, так здесь классы явно генерируются автоматически, кто ж адекватный назовет класс вот так: _3ea6fa5da8--phones_minimized--XieZH
Покажу только на примере номера телефона, дальше сам:

phone = driver.find_element(By.CSS_SELECTOR, "div[class*='phones']").text

И судя по всему BeautifulSoup здесь не обязателен

[im_mommmys]

duff89, дай свой тг)

[duff89]

im_mommmys, пиши на почту. В профиле указана