Возможен ли одновременный доступ к одному и тому же файлу с нескольких узлов?

Вот кстати да, в итоге каша и получается и файл становится битым.
Можешь ли дать какой-нибудь совет, как решить эту проблему, как блокировать файл на запись?

CEPH: как примонтировать CephFS на машину со старым (3.16) ядром?

да, например так:
ceph osd crush tunables hammer