Как возобновить работу скрипта при Exception in thread?

Question

[Ivan Yakushenko]

Бот, основанный на vk_api, на сервере запускается через systemd. Ночью происходит перезагрузка интернет-соединения на сервере и в логах было так:

2019-05-05 00:55:06,570:DEBUG:HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

На гите проблема уже подымалась, ее решение следующее: унаследовать основной класс от VkBotLongPoll и переопределить метод прослушивания событий от ВК следующим образом:

def listen(self):
        while True:
            try:
                for event in self.check():
                    yield event
            except Exception as e:
                logging.error(e)

Ночью снова был перезапуск интернет - бот снова лежит, но в логах теперь пустота. Запустил бота локально, отключил интернет, в консоли следующее:

Traceback

Exception in thread Thread-1:
Traceback (most recent call last):
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 384, in _make_request
six.raise_from(e, None)
File "", line 2, in raise_from
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 380, in _make_request
httplib_response = conn.getresponse()
File "C:\Python37\lib\http\client.py", line 1321, in getresponse
response.begin()
File "C:\Python37\lib\http\client.py", line 296, in begin
version, status, reason = self._read_status()
File "C:\Python37\lib\http\client.py", line 257, in _read_status
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
File "C:\Python37\lib\socket.py", line 589, in readinto
return self._sock.recv_into(b)
File "C:\Python37\lib\ssl.py", line 1052, in recv_into
return self.read(nbytes, buffer)
File "C:\Python37\lib\ssl.py", line 911, in read
return self._sslobj.read(len, buffer)
socket.timeout: The read operation timed out

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:\Python37\lib\site-packages\requests\adapters.py", line 449, in send
timeout=timeout
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 638, in urlopen
_stacktrace=sys.exc_info()[2])
File "C:\Python37\lib\site-packages\urllib3\util\retry.py", line 367, in increment
raise six.reraise(type(error), error, _stacktrace)
File "C:\Python37\lib\site-packages\urllib3\packages\six.py", line 686, in reraise
raise value
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 600, in urlopen
chunked=chunked)
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 386, in _make_request
self._raise_timeout(err=e, url=url, timeout_value=read_timeout)
File "C:\Python37\lib\site-packages\urllib3\connectionpool.py", line 306, in _raise_timeout
raise ReadTimeoutError(self, url, "Read timed out. (read timeout=%s)" % timeout_value)
urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=25)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:\Python37\lib\threading.py", line 917, in _bootstrap_inner
self.run()
File "C:\Python37\lib\threading.py", line 865, in run
self._target(*self._args, **self._kwargs)
File "D:\Develop\vk_image_bot\main.py", line 78, in input_event
for event in self.long_poll.listen():
File "C:\Python37\lib\site-packages\vk_api\bot_longpoll.py", line 274, in listen
for event in self.check():
File "C:\Python37\lib\site-packages\vk_api\bot_longpoll.py", line 246, in check
timeout=self.wait + 10
File "C:\Python37\lib\site-packages\requests\sessions.py", line 546, in get
return self.request('GET', url, **kwargs)
File "C:\Python37\lib\site-packages\requests\sessions.py", line 533, in request
resp = self.send(prep, **send_kwargs)
File "C:\Python37\lib\site-packages\requests\sessions.py", line 646, in send
r = adapter.send(request, **kwargs)
File "C:\Python37\lib\site-packages\requests\adapters.py", line 529, in send
raise ReadTimeout(e, request=request)
requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=25)

Основная проблема в том, что бот работает в несколько потоков, по-этому когда возникает подобная ошибка скрипт не прекращает свою работу, systemd его не перезапускает и скрипт остается "висеть" пока его не перезапустить вручную.

Comments

[sim3x]

Systemd на винде?

[Ivan Yakushenko]

sim3x, systemd на VPS под управлением Ubuntu.

[sim3x]

Ivan Yakushenko,

Ночью снова был перезапуск интернет

как такое на впс вообще возможно

решение следующее

уберите данное "решение" и дайте скрипту упасть. Пусть системд его поднимет и ваше проблема сама собой исчезнет

[pcdesign]

Теперь, когда вы знаете причину падения есть 2 пути, имхо. Либо ковырять сам скрип так, чтобы он продолжал работать, даже в случае разрыва соединения. И пытался соединится вновь. Эту логику вполне можно заложить.

except Exception as e:
                logging.error(e)
                sleep(60)  # Спим минутку
                some_restart_function()

Либо скрипт уже не трогать, а написать маленький bash скрит, засунуть в крон, и заставить его пинать вашего бота, если он жив, то ничего не делать, а если сдох, то service restart youservice

[Ivan Yakushenko]

sim3x,

Основная проблема в том, что бот работает в несколько потоков, по-этому когда возникает подобная ошибка скрипт не прекращает свою работу, systemd его не перезапускает и скрипт остается "висеть" пока его не перезапустить вручную.

[Ivan Yakushenko]

pcdesign, как отследить, что бот работает?

[pcdesign]

Ivan Yakushenko, ну закинуть ему скриптом фотку или чем он там у вас занимается и посмотреть на результат.

Если пойдете путем some_restart_function(), то стоит наверное убивать все треды thread.exit(), типа того, а потом рестартить.

Скрипт не прекращает свою работу, systemd его не перезапускает

Но в этом коде, я не вижу, что это предусмотрено:

while True:
            try:
                for event in self.check():
                    yield event
            except Exception as e:
                logging.error(e)

Вот связи нет, ну записал он ошибку и будет тупо висеть и ничего не делать.
Может здесь после logging.error(e) повесить sys.exit()
Тогда его рестартанет systemd

[Ivan Yakushenko]

pcdesign, дописал sys.exit(0) - ничего, скрипт не завершает работу, продолжает висеть.
Пробовал сделать нечто такое:

try:
            Thread(target=self.input_event).start()
        except Exception as e:
            logging.error(e)
            sys.exit(0)

Результату тоже не дало.

[pcdesign]

Ivan Yakushenko, надо для начала понять в каком именно месте ломается. Расставьте опознаватели, типа того:

logging.error('ONE', e)
logging.error('TWO', e)
logging.error('THREE', e)

Потом сымитируйте падение интернета. И посмотрите в каком месте получится ошибка

2019-05-05 00:55:06,570:DEBUG:HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

Тогда вы поймете в каком именно Exception надо убивать весь скрипт целиком.

[Ivan Yakushenko]

pcdesign, последним отрабатывает код, который как раз таки перебирает event, который автор библиотеки и предлагал зациклить. Нашел в библиотеке кусок кода, который отвечает за проверку соединения:

spoiler

if 'failed' not in response:
            self.ts = response['ts']
            return [
                self._parse_event(raw_event)
                for raw_event in response['updates']
            ]

        elif response['failed'] == 1:
            self.ts = response['ts']

        elif response['failed'] == 2:
            self.update_longpoll_server(update_ts=False)

        elif response['failed'] == 3:
            self.update_longpoll_server()

        return []

Переопределил, пытался зациклить:

spoiler

while True:
            if 'failed' not in response:
                self.ts = response['ts']
                break

            elif response['failed'] == 1:
                self.ts = response['ts']

            elif response['failed'] == 2:
                self.update_longpoll_server(update_ts=False)

            elif response['failed'] == 3:
                self.update_longpoll_server()
        if 'failed' not in response:
            self.ts = response['ts']
            return [
                self._parse_event(raw_event)
                for raw_event in response['updates']
            ]
        return []

Результат очевидный - никакой.

[Ivan Yakushenko]

pcdesign, так-же попробовал засунуть sys.exit() в проверку ответа от сервера - тоже не вырубает программу.

[pcdesign]

Ivan Yakushenko, не видя и не вникнув в код тяжело что-то говорить.
Попробуйте написать скрипт в нескольких строк, в котором будет отрабатываться соединение и разрыв.

А так в качестве временной меры вы можете засунуть в cron команду
systemctl restart vash_script
Раз в 10 или в 15 минут, да и все.

[Ivan Yakushenko]

pcdesign, таки добил. Обернул функцию прослушивания event блоком try, взял все возможные except (на всякий случай) requests, а прерывание программы выполнил командой os.kill(os.getpid(), signal.SIGINT). Другого решения не нашел, да и не факт, что буду искать.
Хотел вот еще что спросить - есть какая-то возможность задавать время жизни потока, по истечению которой он будет закрываться? А то некоторые пользователи клацают на функции, но не работают с ними, в итоге плодится много потоков, которые бесконечно висят и жрут ресурсы.

[Дмитрий Шицков]

Ivan Yakushenko,

есть какая-то возможность задавать время жизни потока

У вас там бесконечный цикл? Вот и считайте там прошедшее время. Когда насчитаете нужное (час прошёл, например) - выходите из цикла. Пришёл запрос в поток - сбрасывайте счётчик жизни потока, пусть ещё поживет.

[Ivan Yakushenko]

Дмитрий Шицков, не сработает. Есть функции где программа ждет ответа от пользователя, в это время цикл "висит" на одном месте. В то-же время за день создается куча таких вот потоков, которые просто мертво висят.

[Дмитрий Шицков]

Ivan Yakushenko, в таком случае только исправлять архитектуру приложения.

• Например, не выделять индивидуальные потоки на каждого пользователя. Создать пул из потоков и раскидывать на них работу.
  
• Можно управлять созданным потоками из основного кода - там считать их время жизни и убивать по необходимости
  
• Можно использовать что-то Celery и сконфигурирован там все необходимые таймауты
  

[pcdesign]

Ivan Yakushenko, это правильная идея, что предложил Дмитрий Шицков, использовать Celery. С Celery надо просто один раз разобраться и забыть.

[Ivan Yakushenko]

Дмитрий Шицков, по первому и 3 пункту: я только недавно начал изучать python, начал писать многопользовательского бота, но в асинхронности разобраться никак не смог, по-этому придумал для каждого пользователя создавать поток, куда во время обращения передается его ID и дальше поток работает только с конкретным пользователем. Так что вопрос с асинхронностью мне еще, очевидно, рано изучать. Другие пробелы нужно заполнить.
Ну а по второму пункту - тоже думал о чем-то подобном, только не придумал как "убивать" какой-то конкретный поток, насколько я знаю в стандартной библиотеки такой возможности нет.

[Дмитрий Шицков]

Ivan Yakushenko, да, async/await я вам ещё и не рекомендовал :) Это еще вариант.
А так самый простой Celery, который берет на себя всю работу по жизни порождаемого воркера
Скорее всего убить корректно поток не получится, т.к. они у вас "повисают" на ожидании ответа и вы не предусмотрели таймаута ожидания.

[Ivan Yakushenko]

Дмитрий Шицков, я просто не знаю, как реализовать этот таймаут, если кол-во проходов цикла я просчитать никак не могу, а извне вмешаться в работу потока тоже нельзя. Более того у меня нет ни малейшего понимания как потоки "помечать", что бы знать какой закрывать, а какой нет.
В общем ладно, буду что-то думать. В любом случае это не критично, так как бот в раз сутки перезагружается и в целом работает без недостатка ресурсов.

Answer 1

[Сергей Тихонов]

Если сделать все потоки "демонами" Thread(daemon=True), то sys.exit из любого потока будет завершать остальные потоки тоже. Как "заплатка" пойдет, но вообще стоит подумать над переинициализацией и повторным запуском обработчика в любой непонятной ситуации.

Comments

[Ivan Yakushenko]

Спасибо, но на данный момент решил проблему убийством приложения os.kill(os.getpid(), signal.SIGINT).
А какое-то преимущество делать потоки демонами вообще есть, или только ради того, что-бы из любого потока можно было всех "убивать"?

[Сергей Тихонов]

A thread can be flagged as a “daemon thread”. The significance of this flag is that the entire Python program exits when only daemon threads are left.

There is a “main thread” object; this corresponds to the initial thread of control in the Python program. It is not a daemon thread.

Только ради того, чтобы процесс не зависал.