Бот для VK отключается максимум через день на VPS от Digital Ocean, как фиксить?

Question

[Валентин]

Имеется бот написанный на Python 3.7, vk-api 11.3.0. Арендовал у Digital Ocean самый дешёвый VPS. Развернул на нём виртуальное окружение, пробовал запустить бота, но через некоторое время он отключается. Было несколько попыток запуска скрипта в роли демона, пробовал nohup и screen, ничего долго не держалось. Ставил задачу в крон на запуск после перезагрузки. Скрипт запускался, но все равно умирал спустя день. Какие логи скидывать не знаю, поэтому пока ничего не прикладываю.

UPD: до этого бот полгода без проблем хостился на Heroku.

Comments

[Дмитрий Шицков]

Какие логи скидывать не знаю

Логи вашего бота перед падением.

Answer 1

[Fixid]

используйте supervisor
Автоперезапуск + логи консоли

Comments

[Борис Сёмов]

Зачем ставить в систему дублирующую систему запуска?
Неужели supervisor проще установить и настроить, чем написать unit для systemd?

[Fixid]

Борис Сёмов, проще, намного
Если ТС задает такие вопросы, то unit для systemd будет для него сложен.

[Борис Сёмов]

Fixid, Это текстовый файл из 5 строк, который можно фактически полностью скопипестить из массы примеров. =)
Уж не какой-то кастомный init скрипт писать для SystemV.
Не понимаю, что там может быть сложнее, чем установка стороннего init, и написания под него запускалки.

[Fixid]

Борис Сёмов, просто из личной практики, многие пугаются и путаются в systemd. Поэтому проще посоветовать
supervisor где сложно что то сделать не так

[Борис Сёмов]

Fixid, Из моей практики, чаще всего, это досадное предубеждение, вызванное тем, что многие мои консервативные коллеги плохо отнеслись к тому, что systemd пришёл во все популярные дистрибутивы, и им вдруг пришлось что-то новое изучать. И про systemd много было на ровном месте плохого написано. =)

[Fixid]

Борис Сёмов, да.. это как переход с ifconfig на ip. Не хотелось, а надо. Бонусом сломались старые скрипты

[Борис Сёмов]

Fixid, Ну для iproute2 есть обёртки же - там как раз всё с обратной совместимостью ничего. =)

Answer 2

[Борис Сёмов]

А с чего именно он падает? Я бы начал с анализа этого момента.
Например, что в screen после падения приложения?

По запуску:
Systemd, который у вас наверняка уже есть, умеет отслеживать работу приложения и перезапускать при падении. Стоит им и воспользоваться для запуска. Тем более, что он позволит, в отличии от того же screen запускать автоматически приложение при старте системы, и логировать его вывод.

Comments

[Валентин]

Отвечаю более чем через неделю, так уж сложилось. Смотрите какие ошибки я ловлю каждый день, около двух часов ночи по Москве:

2019-02-03 22:47:17,451 - root - ERROR - HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)
Traceback (most recent call last):
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 384, in _make_request
six.raise_from(e, None)
File "", line 2, in raise_from
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 380, in _make_request
httplib_response = conn.getresponse()
File "/usr/lib/python3.5/http/client.py", line 1197, in getresponse
response.begin()
File "/usr/lib/python3.5/http/client.py", line 297, in begin
version, status, reason = self._read_status()
File "/usr/lib/python3.5/http/client.py", line 258, in _read_status
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
File "/usr/lib/python3.5/socket.py", line 575, in readinto
return self._sock.recv_into(b)
File "/usr/lib/python3.5/ssl.py", line 929, in recv_into
return self.read(nbytes, buffer)
File "/usr/lib/python3.5/ssl.py", line 791, in read
return self._sslobj.read(len, buffer)
File "/usr/lib/python3.5/ssl.py", line 575, in read
v = self._sslobj.read(len, buffer)
socket.timeout: The read operation timed out

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/env/lib/python3.5/site-packages/requests/adapters.py", line 449, in send
timeout=timeout
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 638, in urlopen
_stacktrace=sys.exc_info()[2])
File "/env/lib/python3.5/site-packages/urllib3/util/retry.py", line 367, in increment
raise six.reraise(type(error), error, _stacktrace)
File "/env/lib/python3.5/site-packages/urllib3/packages/six.py", line 686, in reraise
raise value
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 600, in urlopen
chunked=chunked)
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 386, in _make_request
self._raise_timeout(err=e, url=url, timeout_value=read_timeout)
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 306, in _raise_timeout
raise ReadTimeoutError(self, url, "Read timed out. (read timeout=%s)" % timeout_value)
urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/main.py", line 53, in
for event in longpoll.listen():
File "/env/lib/python3.5/site-packages/vk_api/bot_longpoll.py", line 274, in listen
for event in self.check():
File "/env/lib/python3.5/site-packages/vk_api/bot_longpoll.py", line 246, in check
timeout=self.wait + 10
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 546, in get
return self.request('GET', url, **kwargs)
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 533, in request
resp = self.send(prep, **send_kwargs)
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 646, in send
r = adapter.send(request, **kwargs)
File "/env/lib/python3.5/site-packages/requests/adapters.py", line 529, in send
raise ReadTimeout(e, request=request)
requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

[Борис Сёмов]

Валентин, Ну получили таймаут, и это вызывает именно падение? Хм, ну как-то странно написан тот бот. Ему бы реконнект делать, и продолжать работать - временная потреря связи, обычно, не критическая ситуация для сетевого приложения - на такое надо рассчитывать, обрабатывать и не падать.

Если нет возможности пофиксить на стороне бота, ну используйте systemd/supervisor/что-то ещё что нравится для перезапуска упавшего процесса, как советовали.

Почему именно в 2МСК? У вас не запускается что-то параллельно, что может канал нагрузить, например бекап там на удалённую машину?

[Валентин]

Борис Сёмов, я настроил systemd на перезапуск, так что он продолжает теперь работу, чтобы ни случилось, но ошибки то никуда не делись. Даже не знаю, может совпадение. Нет, паралельно ничего нет, да и судя по отчётам на DO ничего сервер в это время не нагружает. Я подумал о том что возможно ВК меня отключает в это время, так как бот долго ночью без дела простаивает.

[Борис Сёмов]

Валентин, Если это теперь не мешает работе, возможно, просто не стоит придавать этому большого значения.
Мир не идеален... =)

[Валентин]

Борис Сёмов, возможно)

Answer 3

[Дмитрий Кузнецов]

Для начала нужно понять причину отключения бота, найти exception так сказать. Для этого подключайте логи. с @Fixid'ом согласен.
Дебажить, дебажить и ещё раз дебажить. А если бота писали не вы, то обратитесь к разработчику. Либо сразу на фриланс.

Answer 4

[Uno]

Думаю на heroku стояло другое окружение и сейчас что-то вылетает. Пишите логи, трай эксепты и скоро выясните в чем проблема. Супервайзор помочь поможет, но это как спрей для носа - убирает только симптомы, но не лечит причину

Answer 5

[Пума Тайланд]

Что вам мешает посмотреть ошибку при его смерти в том же скрине?

Comments

[Талян]

"скрин" запускается на серверах digitalocean.

ТС, ты логируй в лог-файл важные значения при выполнении ключевых операций, потом глянь лог.

[Пума Тайланд]

Анатолий Цивилёв, а какая разница где он запускается? открываешь скрин и видишь какую ошибку выдала апа при смерти

[Валентин]

Анатолий Цивилёв, Отвечаю более чем через неделю, так уж сложилось. Смотрите какие ошибки я ловлю каждый день, около двух часов ночи по Москве:

2019-02-03 22:47:17,451 - root - ERROR - HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)
Traceback (most recent call last):
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 384, in _make_request
six.raise_from(e, None)
File "", line 2, in raise_from
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 380, in _make_request
httplib_response = conn.getresponse()
File "/usr/lib/python3.5/http/client.py", line 1197, in getresponse
response.begin()
File "/usr/lib/python3.5/http/client.py", line 297, in begin
version, status, reason = self._read_status()
File "/usr/lib/python3.5/http/client.py", line 258, in _read_status
line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
File "/usr/lib/python3.5/socket.py", line 575, in readinto
return self._sock.recv_into(b)
File "/usr/lib/python3.5/ssl.py", line 929, in recv_into
return self.read(nbytes, buffer)
File "/usr/lib/python3.5/ssl.py", line 791, in read
return self._sslobj.read(len, buffer)
File "/usr/lib/python3.5/ssl.py", line 575, in read
v = self._sslobj.read(len, buffer)
socket.timeout: The read operation timed out

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/env/lib/python3.5/site-packages/requests/adapters.py", line 449, in send
timeout=timeout
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 638, in urlopen
_stacktrace=sys.exc_info()[2])
File "/env/lib/python3.5/site-packages/urllib3/util/retry.py", line 367, in increment
raise six.reraise(type(error), error, _stacktrace)
File "/env/lib/python3.5/site-packages/urllib3/packages/six.py", line 686, in reraise
raise value
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 600, in urlopen
chunked=chunked)
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 386, in _make_request
self._raise_timeout(err=e, url=url, timeout_value=read_timeout)
File "/env/lib/python3.5/site-packages/urllib3/connectionpool.py", line 306, in _raise_timeout
raise ReadTimeoutError(self, url, "Read timed out. (read timeout=%s)" % timeout_value)
urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/main.py", line 53, in
for event in longpoll.listen():
File "/env/lib/python3.5/site-packages/vk_api/bot_longpoll.py", line 274, in listen
for event in self.check():
File "/env/lib/python3.5/site-packages/vk_api/bot_longpoll.py", line 246, in check
timeout=self.wait + 10
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 546, in get
return self.request('GET', url, **kwargs)
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 533, in request
resp = self.send(prep, **send_kwargs)
File "/env/lib/python3.5/site-packages/requests/sessions.py", line 646, in send
r = adapter.send(request, **kwargs)
File "/env/lib/python3.5/site-packages/requests/adapters.py", line 529, in send
raise ReadTimeout(e, request=request)
requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='lp.vk.com', port=443): Read timed out. (read timeout=35)

[Пума Тайланд]

Валентин, ну ловите ексепшен и пусть скрипт работает дальше

[Валентин]

Пума Тайланд, уже отлавливаю