Стоит ли использовать в backend базу данных SQLite?

Question

[UnrealPelmen]

Мы с командой создаём сервис, помогающий ученикам в учёбе. Ссылка на GitHub: click. Все запросы к базе данных идут через API на FastAPI. Может ли при непредвиденной нагрузке на API упасть база данных?

spoiler

Да, я понимаю то, что при слишком большом количестве запросов сломается уже API, об этом говорится в этом комментарии. Да, я знаю о механизмах принудительной блокировки запросов к сервису, но я не знаю, есть ли они в самом SQLite.

Также одним из аргументов необходимости перехода является отсутствие встроенного шифрования базы данных в SQLite

spoiler

Да, я читал эту статью, но не хочу настраивать механизмы, усложняющие доступ к базе данных

Также, если потребуется переход, какую реляционную базу данных выбрать? Я склоняюсь к выбору PostgreSQL, из-за наличия встроенного шифрования базы данных и разграничения прав между пользователями базой данных.
P.S.: это наш первый сколько-нибудь сложный проект, который мы пытаемся создать, оглядываясь на best practice. Не судите строго. Если есть замечание или предложение, поделитесь здесь или в этой дискуссии

Comments

[Akina]

одним из аргументов необходимости перехода является отсутствие встроенного шифрования базы данных в SQLite

А зачем вам, я извиняюсь, шифрование БД? У вас что, кто ни попадя имеет физический доступ к серверу? Ну так положите её на шифрованный том, да успокойтесь. К тому же информация, которая обрабатывается вашей БД, слабо напоминает КИИ.

если потребуется переход, какую реляционную базу данных выбрать?

Что же до перехода, то если всё же признаете шифрование именно БД не решающим фактором, то... Разграничение прав есть практически в любой СУБД.

Может ли при непредвиденной нагрузке на API упасть база данных?

Очень теоретически - наверное, всё-таки может. Если для вас "упасть" - перестанет работать сервер БД. потому что процесс завершится аварийно по какой-то ошибке. А если речь о логическом разрушении данных - то это ещё более сомнительно.

[Михаил Р.]

Также одним из аргументов необходимости перехода

P.S.: это наш первый сколько-нибудь сложный проект

Классическая проблема XY, вам стоило бы поставить вопрос по другому, не "стоит ли", а "какую бд выбрать под следующие требования, для проекта со следующим функционалом и ожидаемой нагрузкой".

[Adamos]

Разработка проведодится частчино

Ах, как это верно сказано...
В вашем учебном проекте, существующем исключительно для саморазвития, нет смысла поднимать вопросы надежности и производительности вовсе.

Если бы этот проект имел шанс вырасти во что-нибудь рабочее - первым же шагом имело смысл выкинуть все накостыленные велосипеды, взять Джангу, если уж вы питоните, и натягивать сервисы на нее. Со стандартным технологическим стеком LEMP, надежность которого не так-то просто испортить. Сосредоточившись на том функционале, который должен работать со стороны пользователя, а не хранением Нарнии в шкафу. Тот уровень давно придуман и отлажен за вас.

Answer 1

[Сергей Горностаев]

Файловая БД не масштабируется горизонтально, соответственно вы не сможете с помощью запуска дополнительных узлов ни производительность поднять, ни отказоустойчивость. SQLite - это хорошее решение для десктопных и мобильных приложений, а также для отладочных и тестовых запусков серверных приложений. Выводить с ней бэкенд в прод не стоит.

Comments

[Василий Банников]

Вполне можно и на уровне приложения сделать горизонтальное масштабирование и для надежности и для производительности.

Хоть это и не тривиально и явно не для новичков и точно не для всех проектов.

[Сергей Горностаев]

Василий Банников, смысла в этом нет, так как на много проще использовать тот же PostgerSQL.

[Василий Банников]

Сергей Горностаев, ща буду придумывать задачу под решение)

Answer 2

[Telcontar]

Может ли при непредвиденной нагрузке на API упасть база данных?

В таком виде как вы это понимаете - нет. SQLite — это встраиваемая библиотека. Она не является отдельным процессом/сервером, она работает в том же процессе и в том же потоке, что и ваш код. При перегрузке сервера БД упрется в блокировку файловой системы, т. к. sqlite не умеет обрабатывать параллельную запись (только параллельное чтение), в результате чего FastAPI получит ошибку database is locked и вернет пользователю 500-ю ошибку.

Также одним из аргументов необходимости перехода является отсутствие встроенного шифрования базы данных в SQLite

Есть неплохой форк SQLite - называется SQLCipher, поддерживающий 256-битное AES. Его можно без проблем использовать в SQlAlchemy.

Также, если потребуется переход, какую реляционную базу данных выбрать?

это наш первый сколько-нибудь сложный проект, который мы пытаемся создать

Я бы пока не переходил никуда. Пока проект небольшой, некоммерческий и т. д. и т. п., нет смысла усложнять себе жизнь.