Как правильно делать lock файла?

Question

[Truerz]

Есть два(или более) писателя, которые пишут в файл
Для этого они лочат файл(flock), но проблема заключается в том что они не просто дописывают в него информацию. Для поддержки целостности данных они создают его копию и в копию дописывают нужную информацию, после чего переименовывают новый файл в старый и снимают лок.
Проблема заключается в том что когда второй процесс наконец-то дожидается разблокировки файла он будет писать в старый файл, и получаются потери данных

видел решения в виде для каждого файла создавать файл "file.lock", есть ли более красивые решения. например с временными файлами?

Comments

[Eddy_Em]

А зачем именно блокировка файла? Можно ведь мьютекс какой-нибудь завести для этого! А если хочется файл, то в разделяемой памяти создавайте псевдофайл, его и блокируйте...

[Shetani]

Зачем создавать копию и потом делать замену, если не секрет?

Answer 1

[Алексей Черемисин]

Просто у Вас сама схема разделения файла неправильная, особенно с переименованием. Так как получается, что это не один файл, а куча файлов с иногда одинаковым именем.
Вообще-то обмен или запись некольких процессов в один файл всегда не есть хорошо!
Лучше взять пример с syslog или подобного сервиса, где ТОЛЬКО ОДИН процесс(сервис) пишет в файл, его переименовывает и как хочет с ним, так и хозяйничает, а все остальные работают с данным процессом через сокеты.
Для облегчения задачи можно использовать очереди типа zeromq или rabbitmq, или какой-то подобный фреймворк.

Если же по каким-то причинам сокеты использовать нельзя, то делать придется таким образом:
1) Пишем во временный файл.
2) Захватываем блокировку на целевой файл и переписываем его содержимое
3) убираем блокировку, удаляем временный файл.
Но, блин, как же все это будет тормозить и глючить при больших объемах!!!

PS. Вообще-то блокировки были придуманы для того, чтобы обеспечить консистентность, когда ОДИН пишет, а ДРУГИЕ читают. Или для того чтобы куча процессов дописывало в конец файла. Захватил-записал-отпустил. Для всего остального в базе ОС есть IPC, пайпы и сокеты (в том числе и файловые-UNIX).

О, вот по-русски классику нашел - citforum.ru/operating_systems/linux_pg/lpg_02.shtml

Comments

[Truerz]

проблема в том , что надо обеспечить отказоустойчивость. Если произойдет сбой на этапе 2, то данные будут потерянны(

[Eddy_Em]

@Truerz, вы говорили, что процессы дописывают в файл, т.е. предыдущая информация остается нетронутой. Ну и куда они будут утеряны, если вы просто заблокируете файл, допишете в него, разблокируете? Если вам нужно обеспечить атомарность записи на случай сбоев, то делайте mmap файла в память, дописывайте, делайте munmap. Ядро позаботится о целостности.

[Алексей Черемисин]

@Truerz Ну, а то уже написал, что с файлом вариант не самый лучший в любом случае! Я бы отказался от этой идеи, но решать Вам.
@Eddy_Em предложил хороший вариант с mmap, поддерживаю.
Еще как вариант с файлами - делать блокировку не на файле, который переписываем (мувим), а на другом (специально для этого созданном) файле. Ну а если нужна нормальная отказоустойчивость, то разворачивайте что-то типа zookeeper, используйте очереди или отдельный демон. И не изобретайте велосипед, иначе с локами получите дедлок и долго будете с ним бороться!!! Мир прошел через это лет 10 назад!
Лучше сделайте демон и из него почаще - flush на диск.
Ну а если обрисуете задачу поконкретнее, то может быть что и более конкретное предложу(жат).

[Алексей Черемисин]

Про локи, что будет, если процесс захватил лок на файл и умер, не успев его отдать?! Будет дедлок! Так как другие процессы будут ждать освобождения ресурса и никогда его не получат. Спасают таймауты и разбор полетов с лок-файлом, но это из другой оперы, это велосипед.

[Алексей Черемисин]

@Truerz О! Хорошая статья на тему - 0pointer.net/blog/projects/locking.html
"File locking on Linux is just broken. The broken semantics of POSIX locking show that the designers of this API apparently never have tried to actually use it in real software. It smells a lot like an interface that kernel people thought makes sense but in reality doesn't when you try to use it from userspace."

[Алексей Черемисин]

И да, это во многом относится и к остальному IPC, которое было разработано 30 лет назад :-(