Как просто и безопасно писать в файл?

Question

[kolo2012]

Добрый день. У нас повсеместно заюзан https://github.com/orcaman/concurrent-map и теперь архитекторы поставили перед мной задачу добавить сохранение map на диске дабы в случае краша мы без боли сразу стартовали с прогретым кешем. Сразу оговорюсь: взять redis, tarantool и т.п. нельзя, почему - не знаю.

Требования: писать в файл (потокобезопасность не важна) и если внезапно где-то выскочит паника, придёт сигнал о завершении или просто убьют процесс то должно корректно записать в файл, эдакая система транзакций для файловой системы.

Не хочу велосипедить. М.б где-то уже такое написано.

UPD.
В файл будет писаться лог всех операций. грубо говоря я сделаю систему хранения как в тарантуле (бинлог+снапшот)

Answer 1

[Александр Павлюк]

При сохранении, пишите сначала в отдельный временный файл, а потом перемещайте его на нужное место.
Учтите, что во время сохранения в файл ваш map будет доступен только на чтение.

Comments

[kolo2012]

нееет. У меня будет 2 файла. 1 - лог операций (в него пишу постоянно в отдельной рутине, сюда и нужна гарантированная запись), 2 - снапшот. Когда бинлог становится большим то я его удаляю и формирую новый снапшот; Всё что мне нужно - гарантированно писать в файл (если не поняли что хочу то представьте что это обычный лог и запись в него категорически нельзя потерять).

[Александр Павлюк]

kolo2012: вы изобретаете транзакционную базу даных, это неблагодарное занятие. Возьмите готовую.

[kolo2012]

https://habrahabr.ru/company/oleg-bunin/blog/310690/

"Т.е. зачем нам дампить, давайте вести лог, давайте каждое изменение кэша будет логироваться на диск, каждое.

Если вы думаете, что это медленно (всегда есть мнение, что кэш – это что-то такое быстрое, а когда там появляется диск, то это становится как-то медленно), так вот, на самом деле, это не медленно, потому что даже самый обычный крутящийся магнитный диск, не SSD, пишет со скоростью 100 Мб/с, последовательно пишет. Если размер транзакции, скажем, 100 байт, то это 1 млн транзакций в секунду. Это неимоверная скорость, которая удовлетворит почти всех присутствующих в этой аудитории, может быть даже меня. Поэтому даже один диск с этой задачей вполне справляется, но есть другая проблема, что этот лог разрастается очень сильно, потому что, например, идет 10 инсертов, потом 10 делитов тех же самых данных, они должны все схлопнуться, а в логе они не схлопываются. Или идет 100 апдейтов одного и того же элемента данных, опять же нужен только последний, а в логе хранятся все. Как эту проблему решить? Сшепшоты делать."

[kolo2012]

Александр Павлюк: "Сразу оговорюсь: взять redis, tarantool и т.п. нельзя, почему - не знаю. " Предо мной поставили задачу - её нужно сделать. С архитекторами спорить - ещё хуже

[Александр Павлюк]

kolo2012: если это кэш, тогда почему нельзя потерять данные в нём?

[kolo2012]

Александр Павлюк: если оставить как есть - холодный старт, если потерять данные во время ведения лога - проблема несогласованности. В кеше одно, а в бд другое.

[kolo2012]

Александр Павлюк: насколько я понял инженеров они хотят получить in-memory бд с гарантированным сохранением данных но встраиваемую.

[Александр Павлюк]

kolo2012: Возьмите тогда sqlite как встраиваемую БД. Там все эти вещи реализованы и все грабли уже нейтрализованы. Написание такого с нуля, слишком сложная задача для описания в ответе на Тостере )))

[kolo2012]

Александр Павлюк: я думал что где-то уже сделан пакет дабы писать строку в файл со всеми граблями)

[Tyranron]

kolo2012: ну sqlite и есть строку в файл со всеми граблями. Помимо sqllite есть куча Go'шных встраиваемых БД, пошерстите их, может чего для себя найдете. Вот Вам даже релевантное обсуждение Reddit'е:
https://www.reddit.com/r/golang/comments/2ldd2l/lo...

[Tyranron]

kolo2012: кстати, в тему статью выложили на Хабре:
https://habrahabr.ru/post/323094/
Там ребята заюзали RocksDB для этих целей.

[kolo2012]

Tyranron: а он гарантировано сохранит данные или есть вероятность потери?

[Tyranron]

kolo2012: думаю все популярные встраиваемые БДшки, у которых заявлена persistence, умеют эту persistence делать правильно. Иначе бы не были популярными. Чтобы на 100% быть уверенными - просто возьмите и проверьте Ваш кейс.

[kolo2012]

Tyranron: в итоге я написал велосипед. Осталось только решить проблему "убили процесс"