Можно ли весь код по умолчанию оборачивать в try/except и чем это грозит?

Question

[Олег Петров]

Проектирую скрипты для сохранения различных данных.
Часто это занимает длительное время и периодически возникают ошибки сохранения мелких данных, которые не критичны, но при этом каждая такая ошибка вызывает Exception и остановку программы. СТоит ли каждое действие по умолчанию обернуть в try/except и Print(exception),чтобы избежать остановок программы и чем это грозит?
Про потерю некоторых данных это ясно и не страшно, а что еще может произойти и что делать в таких случаях?
Upd:
Вот я написал функцию

def reconnect(self):
   self.conn=psycopg2.connect(database=database,user=user,password=password,host=host,port=port)
   self.cur=self.conn.cursor()

Я вызываю ее только в случае Exception при сохранении в базу.
Только вопрос как быть, если мы попробовали сделать reconnect, но и в этот раз не получилось.
Получается мы должны убедиться перед подключением, что connect к PosgreSQl вообще есть или лучше зациклить проверку пока не будет коннекта к базе.
Есть ли такая возможность? Но получается лучше не делать это перед каждым запросом, так как это займет доп время. У меня так

try:
   db.save.alltickerprices(cg.coins)
except Exception:
   #Тут по идее нужно сделать цикл с проверкой существует ли сейчас поключение?
   db.reconnect()

Comments

[Олег Петров]

Pavel Denisov, Ну так я решаю конкретные задачи для работы с большим количеством данных с помощью программирования, а не пытаюсь стать разработчиком. Это ведь совсем разные вещи. Углубляться мне совсем не требуется, но основы изучаю в бою!

[Dimonchik]

Pavel Denisov, так он, видимо, на такой должности и есть

[Олег Петров]

Pavel Denisov, Программист решает любую задачу, а мне нужны только данные, но работа с ними тоже требует знаний, в частности, чтобы исправлять свои ошибки или ошибки тех, кто делал для меня скрипты, ведь их делали программисты, которые не знают важных нюансов. Моя задача научиться работать с ЛЮБЫМИ данными в любом возможном виде: собирать, обрабатывать, исправлять ошибки, отправлять итп. И на сегодня лучший инструмент - это Python.

[Олег Петров]

Pavel Denisov, Уверен, что Билл Гейтс тоже не с первого дня знал все секреты программирования =)

[Adamos]

Pavel Denisov, Скорее всего, при том, что он тоже не программист ;)

Answer 1

[Артём Иннокентьев]

Надо учитывать 2 момента при написании try / except:

1. Старайтесь писать блок try / except с конкретными ошибками - это позволит обрабатывать те ошибки, которые реально могут произойти. К примеру, Вы в ответе можете получить поле foo или не получить - почти наверняка данный код стоит обработать на KeyError.
   
2. Использовать блок try / except без перечисления ошибок (пустой блок) стоит писать только тогда, когда Вы реально знаете зачем он. К примеру, Вы не знаете, какие ошибки могут произойти в коде, т.к. его много или он плохо написан или плохо спроектирован, но при этом, хотелось бы чтобы код не падал и работал дальше - да, тогда его стоит использовать. Но при таком случае, обязательно сделайте хороший логгинг или еррор репортинг админу внутри блока except.
   

Comments

[Олег Петров]

Logging я понимаю как в файл записать, а что такое error reporting пока не понимаю.

[Артём Иннокентьев]

Под error reporting подразумевается уведомление админа / разработчика удобным для него каналом связи - можете email / SMS / сообщение в Slack / Telegram отправить, что все поломалось. Главное разработчику как можно быстрее среагировать )

Есть еще готовые решения со своим SDK - bugsnag, Sentry(заходите через VPN, заблокирован в России).

Лично пользовался Sentry, очень удобно - весь стектрейс виден внутри UI.

Answer 2

[Дмитрий Шицков]

Понятное жело, практика плохая. В основном из-за того, что у вас не будет оценки критичности возникшего исключения.
Обязательно следует указать except Exception, иначе вы словите то, что точно не следует ловить - напр команды прерывания работы программы.

Comments

[Олег Петров]

Моя задача, чтобы программа ни при каких условиях не прерывала работу по сохранению данных, что же мне лучше применять? Я готов потерять некие данные при редких ошибках, но вылет программы недопустим никогда.

У меня идут иногда ошибки в get-запросах и очень редко ошибки при сохранении в базу - сервер не отвечает.
Что посоветуете?
except:
except BaseException:
except Exception:

[Олег Петров]

А можете поподробней про прерывания?

[Дмитрий Шицков]

Олег Петров, except Exception не будет ловить такие прерывания, как KeyboardInterrupt (Ctrl+C) и SystemExit. Это позволит прерывать работу скрипта

[NaName]

Олег Петров, а если свет выключат, программа тоже должна работать?

[Олег Петров]

NaName, На резервном источнике =)

Answer 3

[Dimonchik]

try except нужно в валидации данных, перед сохранением, но валидировать ветками условий, исключения в крайнем случае

Comments

[Олег Петров]

У меня идут иногда ошибки в get-запросах и очень редко ошибки при сохранении в базу - сервер не отвечает.
Что посоветуете?
except:
except BaseException:
except Exception:

[Олег Петров]

Вот у меня конкретная проблема случилась.
Как я понимаю:
1. в процессе сохранения сервер завершил процесс и отверг запрос на сохранение
2. line 474 - это run_grabber - инициализация функции сохранения в базу данных не может произойти, так как
line 466 и 423 не могут произойти, так как connection already closed.
Как я понимаю, если ее обернуть в try/except, то мы избежим ошибки сохранения в базу.

[Stalker_RED]

Олег Петров, переподключиться не вариант?

[Олег Петров]

Stalker_RED, Вот я написал функцию

def reconnect(self):
   self.conn=psycopg2.connect(database=database,user=user,password=password,host=host,port=port)
   self.cur=self.conn.cursor()

Я вызываю ее только в случае Exception при сохранении в базу.
Только вопрос как быть, если мы попробовали сделать reconnect, но и в этот раз не получилось.
Получается мы должны убедиться перед подключением, что connect к PosgreSQl вообще есть или лучше зациклить проверку пока не будет коннекта к базе.
Есть ли такая возможность? Но получается лучше не делать это перед каждым запросом, так как это займет доп время. У меня так

try:
   db.save.alltickerprices(cg.coins)
except Exception:
   #Тут по идее нужно сделать цикл с проверкой существует ли сейчас подключение? но как узнать что мы не подключены?
   db.reconnect()

[Stalker_RED]

Олег Петров,
у reconnect есть же параметры.
https://dev.mysql.com/doc/connector-python/en/conn...

Ну и надо проверять какое именно исключение, и реконнектить только если соединение оборвано.
Исключения же могут быть и по другому поводу - к примеру "такой email уже есть в базе" или "invalid foreign key", или еще что.

[Олег Петров]

Stalker_RED, Спасибо за совет

[Олег Петров]

Stalker_RED, Вот у меня получается такое исключение
psycopg2.OperationalError: server closed the connection unexpectedly

[Олег Петров]

Stalker_RED, Кстати специально сейчас проверил, что будет, если сделать коннект к уже законнекченной базе. Все закончилось хорошо =)
Так что пока не научусь как идентифицировать конкретную ошибку буду применять общий exception.

Answer 4

[aderes]

Exception содержит мго других исключения... словите ошибку от какого либо куска кода, например EOFError и не будете знать, что у вас за ошибка и откуда она вылезла... будет только перед вами ваш Print(exception)...

Comments

[Олег Петров]

А за что отвечает EOFError?

[aderes]

Олег Петров, в моем ответе есть ссылка)... нажмите

[Олег Петров]

Точнее я понял что это
"EOFError - функция наткнулась на конец файла и не смогла прочитать то, что хотела"

вопрос бывает ли так, что она происходит не тогда, когда ожидаешь?

[aderes]

Олег Петров, многое происходит обязательно тогда когда не ожидаешь...

Answer 5

[devalone]

Оборачивать всё не надо, бывает 2 типа исключений:
- критические, когда всё сломалось и нужно уронить программу и уведомить об этом в виде логов
- не критические, когда можно ошибку как-то исправить, здесь можно оборачивать, но при этом просто игнорить такую ошибку не вариант, т.к. если ошибка есть, то с этим нужно что-то сделать

Comments

[Олег Петров]

Ну в целом вы правы, но у сервера десятки ошибок могут быть различных. В идеале нужно научиться их всех правильно обрабатывать, но мне пока трудно, и я делаю так.

[devalone]

Олег Петров, мне нравится, как это реализовано в джаве, там нужно явно указывать, что метод бросает исключение, в таком случае невозмоно получить какое-то недокументированное исключение, которое было скрыто через десять вызовов.

[Олег Петров]

devalone, А если не указать, то программа не будет работать? То есть в Python - это не очень продумано? Я кстати эту тему совсем еще не понимаю. Как один Exception начинает вызывать другие по цепочке. Как я понимаю нужно смотреть всегда на последний?
Например я запустил главный модуль, получил Exception,
Этот модуль обращался к функции, там Exception,
Эта функция обратилась к модулю библиотеки, и вот тот Exception и был причиной всех моих ошибок, верно?
А как же тогда в Java Сделано?

[devalone]

Олег Петров,

А если не указать, то программа не будет работать?

Не скомпилится

То есть в Python - это не очень продумано?

Кому-то нравится такой вариант, как в питоне и плюсах, кому-то такой, как в джаве, это один из многих холиваров, я за то, чтобы было очевидно, что при исполнении функции может пойти не так.

Как один Exception начинает вызывать другие по цепочке. Как я понимаю нужно смотреть всегда на последний?
Например я запустил главный модуль, получил Exception,
Этот модуль обращался к функции, там Exception,
Эта функция обратилась к модулю библиотеки, и вот тот Exception и был причиной всех моих ошибок, верно?

не совсем понял, что ты имеешь ввиду