Задать вопрос

12ss

Ответы пользователя по тегу Парсинг

  • Как ловить ошибку сервера при парсинге?

    @12ss
    1. Можешь ссылки открывать в новых вкладках. Сделай несколько попыток открыть ссылку в новой вкладке с проверкой, нет ли там ошибки. Примерно так:
    main_window = driver.current_window_handle
#open the link in a new tab
clickable_element.send_keys(Keys.CONTROL + Keys.RETURN)
#switch to that tab
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + Keys.TAB)
driver.switch_to_window(main_window)
#close the tab
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + 'w')
driver.switch_to_window(main_window)

    2. Можешь открыть второе окно браузера, я имею ввиду new instance, и работать с ними параллельно. Во втором окне открывать все ссылки.
    Ответ написан
    1 комментарий
    1 комментарий

  • Как спарситить если выдает resultSet?

    @12ss
    Не понимаю популярности BeautifulSoup.
    Бери lxml для парсинга, научись писать xpath. Это даже проще, к тому же эффективнее.
    Будет что-то вроде
    //div[@itemprop="recipe-ing"]/li[@class="cat"]/span/@name


    В BeautifulSoup попробуй так
    spans = soup.find_all('span', attrs={"itemprop": "name"})
for span in spans:
    print(span.get_text())


    или два вложенных цикла
    lists = soup.find_all("li","cat")
for li in lists:
    spans = li.find_all(attrs={"itemprop": "name"})
    for span in spans:
        print(span.get_text())
    Ответ написан
    4 комментария
    4 комментария