Как устранить ошибку sqlalchemy.exc.OperationalError при подключении к AWS RDS?

Question

[VaniLuksh]

При работе программы теряется подключение sqlalchemy к базе данных mysql в AWS RDS.
Ошибка возникает через 10-15 минут простоя программы.

sqlalchemy.exc.OperationalError: (pymysql.err.OperationalError) (2013, 'Lost connection to MySQL server during query ([WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера)')

Конфигурация подключения имеет следующий вид:

engine = create_engine(
    'mysql+pymysql://admin:***"***rds.amazonaws.com:3306/***',
    echo=True,
    pool_recycle=3599)

Session = sessionmaker(bind=engine)
session = Session()

Со стороны RDS применены следующие параметры в parameter groups:
connect_timeout = 3600
interactive_timeout = 3600
wait_timeout = 3600

Option groups - default:mysql-5-7

в чем может быть проблема?

Comments

[Иван Шумов]

а подключение вообще создается?

[VaniLuksh]

Иван Шумов, да, первые минут 10 все работает. После, если программа не выполняется, подключение теряется и не может восстановиться, вылетает ошибка

[Иван Шумов]

VaniLuksh, а инстанс перезапускали при изменении parameter groups?

[VaniLuksh]

Иван Шумов, да

[VaniLuksh]

Лентюй, получается так, но почему тогда коннекшн рубится, если стоит pool_recycle, даже если я его поставлю pool_recycle=30 например, все равно пропадает

или я чего то не понимаю в регистрации Session? ( Session = sessionmaker(bind=engine)
session = Session() )

[Иван Шумов]

VaniLuksh, значит вероятно проблема не в настройке, а именно в знании python и все остальные теги тут лишние. Для проверки соединения советую просто подключиться через консоль к базе данных и проверить держится ли соединение. Если держится то проблема в скрипте, если нет то дальше копать будем.

В любом случае обрыв связи с базой данных не должен быть проблемой скрипта. Это абсолютно нормальная ситуация и надо уметь восстанавливать соединение при разрыве

[VaniLuksh]

Лентюй, нет, программа использует ORM для запросов на RDS. Не очень понимаю что там еще может быть..

[VaniLuksh]

Иван Шумов, получается так, да

перед тем как вопрос написать, я, конечно, изучил доку, но что-то все равно не решил проблему

может тут у кого то будет пример поделиться, как реализовывается подключение через sqlalchemy на реальном примере

[Иван Шумов]

VaniLuksh, поскольку не питаниями то могу посоветовать поискать «sqlalchemy persistent connection» или «sqlalchemy increase connection timeout». Ну и настроить retry при разрыве соединения. Ибо рано или поздно, так или иначе ...

[Gennady S]

Хм, даже наоборот, стоит найти способ завершать соединение после выполнения определенной логики. И инициировать его по необходимости. Не думаю, что постоянное соединение с дистанционной базой хорошая идея. Если же речь идет о высоких нагрузках, где ощутимы даже накладки на соединение, то есть смысл посмотреть в сторону локального кэширования и пакетной обработки.