Scrapy, как перехватить исключение?

Question

[Cenzor]

Прошу помощи, так как сам не могу сообразить в чём дело, видимо нужен взгляд со стороны.
Есть небольшой парсер на Scrapy. Пытаюсь обработать ошибку FileNotFoundError. Для теста намерено удаляю директорию, куда обращается парсер во время работы, запускаю спайдер, выбрасывается исключение сгенерированное pipeline'ом:

File "/.../pipelines.py", line 16, in process_item
    with open(path+filename, 'w') as f:
FileNotFoundError: [Errno 2] No such file or directory: 'downloaded/www.httphttpbinbin.org.html'

Я пробую поймать исключение в методе start_requests() оборачивая в try-except запрос yield scrapy.Request(...) - не ловится. Пробую обработать его в методе errback выражением if failure.check(FileNotFoundError) - тоже не ловится.
Прошу подсказать, где и как правильно его перехватить? Спасибо.

Answer 1

[soremix]

Файл во время работы удаляется что ли? Он же с режимом w

Comments

[Cenzor]

Да не в этом проблема. Я сам его (каталог) удаляю и пытаюсь перехватить исключение, но не получается. Для понимания: хочу обработать все системные исключения, мало ли какие ошибки в системе произойдут, не зависящие от парсера.

[ScriptKiddo]

Cenzor, https://stackoverflow.com/a/26619628

[Cenzor]

Спасибо, пробовал. Для проверки я в методе process_spider_exception принтом печатаю, к примеру, TEST, но во время ошибки эта фраза не печатается. Я правильно понимаю, что при исключении выполняется этот метод?

[Cenzor]

ScriptKiddo, и там объясняется, как записать урл, который при запросе вернул исключение. А ме нжно обрабатывать исключения по типу FileNotFoundError, PermissionError, OSError, IOError и т.д.

[ScriptKiddo]

Cenzor, так и обрабатывайте. Исключения корректно передаются

Answer 2

[StarCatSTT]

Исключение должна выдавать инструкция open()
Тогда:

try:
    with open(path+filename, 'w') as f:
        pass #some code
exept FileNotFoundError:
    print("Я не нашел файл")

Comments

[Cenzor]

Согласен, можно. А есть ли возможность перехватить исключение где-то "выше", в одном месте? Что за раз все подобные исключения перехватывать, такие как IOError, OSError и тд

[StarCatSTT]

Можно написать так:

try:
    #code
    #code
except Exception:
    print("Я обработал все исключения")

[Cenzor]

Я как раз в топике об этом и написал, что такая схема не рабоает.