Как поправить ошибку FATAL: remaining connection slots are reserved for non-replication superuser connections?

Question

[Denis Melnikov]

Перерыл кучу инфы, что то не нашел ответ, либо плохо ищу.
Есть Django 3.2, есть postgres, есть куча прямых SQL запросов чере

with connection.cursor() as cursor:
        cursor.execute

То есть, закрытие соединения на уровне кода..
У psql настроено 300 соединений
Стоит настройка

SET SESSION idle_in_transaction_session_timeout = '2min';

Пробовал в setting поставить
CONN_MAX_AGE = 120
Думал может будет держать соединение...

Но нет, IDLE соединения копятся очень быстро, достигая лимита...

Помогает либо сброс соединений, с выборкой idle > 5 минут

SELECT pg_terminate_backend(pid)
FROM inactive_connections
WHERE rank > 1;

либо ребут psql, если даже выше не получается...

idle соединения могут висеть долго, такое чувство, что все же не сбрасываются автоматом.
Как проверить.. не знаю.

Answer 1

[galaxy]

То есть, закрытие соединения на уровне кода..

Да? Это вам кто сказал?

Connections can be used as context managers. Note that a context wraps a transaction: if the context exits with success the transaction is committed, if it exits with an exception the transaction is rolled back. Note that the connection is not closed by the context and it can be used for several contexts

https://www.psycopg.org/docs/connection.html
Тем более у вас контекст на курсор.

SET SESSION idle_in_transaction_session_timeout = '2min';

Снова мимо. IDLE и IDLE IN TRANSACTION, очевидно, разные состояния.

Закрывайте соединения как положено.

Comments

[Denis Melnikov]

idle_in_transaction_session_timeout , искал именно idel session timeout, как то не было.
Про курсор закрытие, может и профукал инфу, попробую закрывать соединения, спасибо
p.s. не стоит так кричать =) Страшно же =)

[galaxy]

Denis Melnikov, да что вы, кто кричит. Если ответ показался резким, извиняюсь.

Я просто не очень понимаю моды использовать с соединениями или курсорами в питоне контексты. Видимо, один раз какой-то балбес написал туториал, и дальше все копируют.
В Python DB API (PEP 249) вообще ни слова не сказано, как себя должны вести соединения и курсоры при использовании с менеджером контекста. Конкретные драйверы ведут себя как попало. Обычно при использовании соединения с менеджером контекста на выходе происходит откат или фиксация транзакции - так ведет себя psycopg, sqlite3 и раньше вел себя pymysql, но сейчас (сюрприз-сюрприз!) он стал закрывать соединение!

Курсор - это вообще внутренее питонячье понятие, не имеющее прямого аналога в БД или нижележащем API. Что именно должно делать его закрытие, кроме пометки его закрытым, неизвестно.

Answer 2

[Slava Rozhnev]

Поставьте PgBouncer для переиспользования пула соединений

Comments

[Denis Melnikov]

Натыкался на эту штуку ... На последнее откладывал.. Но походу придется изучить. Спасибо

[Slava Rozhnev]

Denis Melnikov, Достаточно просто и устанавливается и конфигурируетсяю Удачи

Answer 3

[Сергей Горностаев]

Во-первых, работать напрямую с БД из Django - такая себе идея. Во-вторых, судя по симптомам, у вас где-то открываются соединения, но не закрываются. Небось ещё и потоки или асинхронность используете?

Comments

[Denis Melnikov]

Да не, все синхронно.
Конечно ORM наверное логичнее... Но боюсь не в этом случае, выборки сложные и большие, задействуются по 5-6 джойнов и функции расчета. Так что это безальтерантивный вариант

[Сергей Горностаев]

Denis Melnikov, можно сделать в БД вьюху, смапить на неё модель и жить спокойно.

[Denis Melnikov]

Сергей Горностаев, Размышлял над этим... Возможно и так придется сделать. Спасибо.