Как лучше всего разместить sqlite базу в сети?

Question

[Илья Т.]

Необходимо разместить базу sqlite на ресурсе который подключен по сети.
Сейчас использую sshfs (выбор случаен) и сталкиваюсь с частыми поломками базы, которые пока удавалось вылечить.
Может быть какой-то другой протокол (smb, nfs что-то ещё) привнесет в мою жизнь больше стабильности? К сетевому ресурсу подключается строго один хост.
зы: Я знаю что моя такая схема не рекомендована, но в моем случае выбора нет.

Comments

[ComodoHacker]

Если с базой работает только один хост, почему бы на нем и не держать базу?

[Илья Т.]

Друзья, вы все отлично рассказали мне ровно то что я знаю и так и прямо об этом написал в самом вопросе:
Я знаю что моя такая схема не рекомендована
Какой смысл переводить буквы?
Возможно я не правильно выразился, попробую ещё раз:
Я понимаю что нет 100% гарантии, я лишь пытаюсь подобрать более стабильный протокол.
Какой-то протокол например может держать больше кэшей в памяти и "сглаживать" кратковременные перебои в передаче данных, а другой протокол будет отваливаться сразу и навсегда.

Answer 1

[Антон Антон]

>Может быть какой-то другой протокол (smb, nfs что-то ещё) привнесет в мою жизнь больше стабильности?
Не принесет

Answer 2

[Adamos]

Вы же понимаете, что вы на самом деле не подключаетесь к базе по сети, а выкачиваете ее файл к себе, а потом закачиваете обратно? Естественно, при проблемах с сетью файл будет портиться.
Вас может спасти либо сервер БД, либо веб-сервер (обращающийся к той базе локально).

Comments

[ComodoHacker]

> выкачиваете ее файл к себе, а потом закачиваете обратно

Откуда такое искаженное представление? Скачиваются только те части файла, которые явно запросило приложение. В этом смысл сетевой ФС.

[Adamos]

ComodoHacker, а потом SQLite добавил в этот файл еще одну запись и...

[ComodoHacker]

И она добавилась в конец файла.

[Adamos]

ComodoHacker, а вакуум в базе, которую тягает по сети один клиент, наводят ночами добрые гремлины.

[ComodoHacker]

Adamos, Если уж мы дошли до необходимости вакуума и все еще сидим на SQLite, то проведение его (и прочего обслуживания) в часы наименьшей нагрузки — вполне рабочая стратегия.

И гремлинов разумеется лучше поселить на том же хосте, где лежит база.

[Adamos]

ComodoHacker, человек на этом хосте нормальный сервер БД поднять не может, скулятом мается. Какие там гремлины.

[Илья Т.]

СУБД я не могу поменять т.к. софт сторонней разработки, а гремлинов наверное могу подсадить.
можете про них подробнее рассказать?

[Adamos]

Илья Т., гремлины несложные - просто по крону ночью запускать вакуумирование базы.
Но ваша проблема не в этом, а в передаче файла (или его кусков) по сети. Тупик.
Стоит поискать решение выше: что это за софт, что за база? Может, есть варианты выпрямить всю эту кривизну и перестать маяться?

[ComodoHacker]

Илья Т., Главный вопрос — в чем необходимость базе находиться на другом хосте, нежели приложение?

На гремлинов не обращайте внимания, к вопросу целостности данных при работе по сети они отношения не имеют.

[Илья Т.]

ComodoHacker, это дает мне возможность в любой момент потерять хост с приложением в одном месте и развернуть его в другом.
это не критично, скорее удобно

[ComodoHacker]

Илья Т., Регулярный бэкап не решит вопрос?
По-хорошему, он все равно нужен, на каком бы хосте не находилась база.

Answer 3

[Армянское Радио]

Никак. SQLite в принципе не предназначена для работы по сети.

Сетевая SQL база должна поддерживать тот или иной механизм изоляции транзакций. Читайте про ACID

Comments

[Илья Т.]

Уважаемый, я бесконечно впечатление вашим знанием умных слов, но изоляция транзакций это вообще не про это.
Про атомарность ещё можно поговорить, но даже она реализуется при такой схеме работы.

[Армянское Радио]

Илья Т., только все 4 пункта из комплекта позволяют реализовать хранилище данных с полной консистентностью и конкуретным доступом. Если вам не нравится, что я пользуюсь терминами из профессиональной среды - я не удивлен, вы глубоко не компетентны, вот и терминов боитесь.

[Илья Т.]

gbg, Терминов я не боюсь. Я боюсь людей, которые их применяют не понимая смысла.
Или может быть вы сможете объяснить каким образом наличие "механизма изоляции транзакций" поможет решить мою проблему ?

[Армянское Радио]

Илья Т., потому что ваша база повреждается из-за того, что к ней происходит конкурентный доступ, а теневых страниц или WAL в ней нет. Я вам экзамен сдавать не собираюсь - если вам не нравится мой ответ, вам тут SMB советуют, что является такой же глупостью.

Вам нужен либо сервер сетевой БД, либо поставить перед БД какой-то свой интерфейс. Но - сюрприз - вам в этом интерфейсе все равно придется реализовывать конкуретный доступ.

Более того, транзакции нужны даже если клиент один. Рассмотрите ситуацию, когда клиент писал писал и отвалился. Что делать с его данными? На какой момент откатывать. Ой, я знаю ответ, это же транзакция!

[Илья Т.]

1. Конкурентного доступа к моей базе не происходит. Об этом прямо написано в тексте вопроса. Навык читать то что комментируешь в наши дни большая редкость.
2. В sqlite реализована изоляция между разными соединениями (https://www.sqlite.org/isolation.html)

[Армянское Радио]

Илья Т., я написал, что даже с одним клиентом есть проблемы. Дальше ваш же собственный пассаж про навык читать и комментировать.

2. Эта изоляция работает в пределах одного сервера, на файловой системе, которая полностью совместима с POSIX. Это может быть SMB, CephFS, но никак не sshfs.

[Армянское Радио]

Илья Т., Проблема нестабильного доступа к хранилищу данных решается на уровне приложения, а не попыткой нагородить костыли вокруг файловой системы и sqlite. Если в базе хоть сколько ценные данные, покажите этот тред человеку, который вас нанял со стороны бизнеса.

Чтобы сделали вывод о вашей профпригодности.

Вашим фантазиям о восстановлении кэшей после сбоя примерно соответствует cephfs. Которая сама по себе - огромный монстр для хранения терабайт данных в распределенном кластере.

Но да, она замораживает IO, когда сеть отваливается, и начинает его с того же места когда сеть появляется.

А самое забавное, что внутри у нее все тот же механизм с WAL, эпохами и транзакциями, которые вам какбы не нужны.

[Илья Т.]

gbg, на этот проект я сам себя нанял
разумеется критичных данных в этой базе нет.

[Армянское Радио]

Илья Т., если между машиной, где лежит база и машиной, где она используется, лежит интернет, все совсем плохо.

[Hemul GM]

Sqlite позволяет проводить транзакции, которые изолированы между собой. Это достигается тем, что создается временный файл рядом с БД, где происходит транзакция, а другие экземпляры библиотеки БД будут вежливо ждать своей очереди. Sqlite позволяет использовать множественные подключения, автономно организуя доступ к файлу бд.

[Армянское Радио]

Hemul GM, я уже написал выше, что это работает только на очень ограниченном количестве фс. Не все сетевые ФС поддерживают когерентность кэшей и блокировки, которые нужны для того, чтобы это работало.

Более того, при разрыве соединения, база скорее всего превратится в фарш (что у автора и происходит).

[Hemul GM]

gbg, если использовать именно транзакции, то фарш будет происходить в крайних случаях. Также, протокол smb достаточно стабилен даже через глобальную сеть и хорошо работает в таком режиме.

Я не хочу сказать, что это хорошее решение и что юзать по сети файловую бд - норма. Это так или иначе плохо и разумнее завести банальный mysql сервер на том конце, чтобы избавиться от всех проблем.

[Армянское Радио]

Hemul GM, ой, я таких, извините, "козлов" от SMB насмотрелся даже в тепличных условиях 10 гигабит в одном свиче, что единственный отзыв о данном протоколе - глаза б мои этот костылятник не видели. И рассыпанные базы (кто тут Odin's Ass нахваливал), и некогерентные кэши (файл на машине A есть, на машине B - нету) и просто "указанный ресурс более недоступен", когда с соседней машины все открывается.

По сети хорошо отдавать блочное устройство, СУБД или KV, в том числе и S3. А файловые системы пусть себе сидят локально, уж больно много в них завязано на то, что физическое хранилище, оно вот тут, рядом.

[Илья Т.]

gbg, По сети хорошо отдавать блочное устройство,
может тогда ISCSI ?

[Армянское Радио]

Илья Т., а сверху на него что повесите? ФС понадобится. СУБД на кластерные ФС не кладут по причине лютых тормозов последних под таким профилем нагрузки.

Удел кластерных ФС - обслуживать сверхдремучее легаси, которое невозможно переписать на S3.

Формально, мы с вами столкнулись с проблемой молотка - вы поставили вопрос, не рассказав всю задачу, и отсюда покатилось.

В данном случае, стоит вовсе выкинуть sqlite из уравнения. Есть много способов реплицировать статику и конфиги в пуле серверов - тот же etcd, например

[Илья Т.]

gbg, а зачем мне кластерная фс? я один раздел буду отдавать одному инициатору.
да и тормоза фс, меня как человека сейчас использующего sshfs не сильно беспокоят
ps Это не моё приложение, я не могу его изменить в пользу другой СУБД.

[Армянское Радио]

Илья Т., на этом разделе вы создадите например ext4
при первой же серьезной заварухе с соединением, она уйдет в ro, а база поломается. Это еще хуже, чем sshfs

[Hemul GM]

Илья Т., а если не секрет, то по какой причине не хочешь ставить сервер бд?

Answer 4

[Дмитрий Александров]

С учетом выше написанных комментариев. В вашем случае никак не решить именно с точки зрения вашей хотелки. Возможные варианты выхода из ситуации:
- дописывайте(или наймите разраба) ПО которое работает с БД на клиент-серверную архитектуру.
- запускайте ПО работающее с БД прямо на сервере где лежит БД, и уже к серверу цепляйтесь через vnc\rdp
- решайте костылем, условно небольшой скрипт который подключается к серверу, вытягивает на локальную машину файл БД, запускает ПО, по закрытию ПО скрипт выгружает файл БД обратно на сервер и если все успешно удаляет локальную копию БД.
- smb\nfs проблему не решит но должно работать несколько лучше чем sshfs.

Answer 5

[ComodoHacker]

Попробуйте SMB.
Но документация прямо предупреждает, что при работе по сети возможны проблемы, и полностью этого не избежать.
https://sqlite.org/lockingv3.html#how_to_corrupt

Comments

[Армянское Радио]

Ни один вменяемый DBA не будет класть базу данных поверх сетевой файловой системы. Это рано или поздно обернется или тормозами, или наглухо побитой базой.

[ComodoHacker]

gbg, Все зависит от конкретных условий и требований к надежности и производительности.

Миллионы пользователей 1С в файловом режиме смотрят на вас с удивлением.

[Армянское Радио]

ComodoHacker, О да, особенно когда их больше 5-8 человек. Или когда сеть плохая, и база бьется. Миллионы здесь в другом - в заработках нанимателей мальчиков по вызову, которые чинят битые индексы.

Тоже мне, нашли образец для подражания

[ComodoHacker]

gbg, Как бы это не задевало ваше чувство перфекционизма (и мое тоже), но реальность такова, что да, вызов мальчика для починки индексов обходится дешевле, чем зарплата админа для взрослой СУБД и сопутствующей инфры.

А до 1С так работали на Аксесе, и решали свои задачи.

Answer 6

[Илья Т.]

интересно что SMB через интернет по результатам моего теста даёт производительность в 1.5 раза ниже чем sshfs и по скорости и по ёпсам.
Не очень важно, но просто неожиданно