Как ловить ошибку сервера при парсинге?

Question

[Bjornie]

Написал парсер python+selenium, все работает как надо, бегает по ссылкам, собирает всю инфу (с открытым браузером).

Иногда, по вине сервера, парсер вылетает с ошибкой.
Сервер отвечает 502 (Bad gateway).
Парсер вылетает не найден нужный мне xpath (естественно, т.к. загрузилась непредвиденная страница)

Вопрос: как переписать скрипт, чтобы при возникновении такой ошибки парсер не вылетал, а делал еще одну попытку (например обновление страницы помогает), возможно ли это?

Answer 1

[12ss]

1. Можешь ссылки открывать в новых вкладках. Сделай несколько попыток открыть ссылку в новой вкладке с проверкой, нет ли там ошибки. Примерно так:

main_window = driver.current_window_handle
#open the link in a new tab
clickable_element.send_keys(Keys.CONTROL + Keys.RETURN)
#switch to that tab
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + Keys.TAB)
driver.switch_to_window(main_window)
#close the tab
driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + 'w')
driver.switch_to_window(main_window)

2. Можешь открыть второе окно браузера, я имею ввиду new instance, и работать с ними параллельно. Во втором окне открывать все ссылки.

Comments

[Bjornie]

интересное предложение со вторым окном, надо попробовать

Answer 2

[Evgeniy _]

try:
    #code
except:
    driver.refresh()

Comments

[Bjornie]

Evgeniy _ если встретится except, то после refresh исполнение кода вернется к try, правильно понимаю? Вернулся к вопросу, т.к. данная конструкция не работает как надо. Может я не на том шаге ее использую.

[Evgeniy _]

Если код вызовет любую ошибку в блоке TRY, то он перейдет к коду, который в блоке Except, и после его выполнения он перейдет в следующему коду после try-except.
ps: можно использовать try-except-finally
finally - будет выполнено в любом случае

[Bjornie]

Evgeniy _: спасибо!