Я понял, что aufs не умеет корректно обрабатывать ситуацию, когда один из слоев недоступен (iscsi отвалился). В этом случае вся совокупность слоев помечается сбойной и требует перемонтирования iscsi и пересоздания aufs. Мне этот вариант не подходит.
На замену нашел
mergerfs. Он работает аналогично aufs с точки зрения использования (только через fuse, но это при моих нагрузках не важно), но в отличие от последней, при недоступности одной из точек монтирования, mergerfs продолжает нормально работать. Невозможно прочитать только файлы с недоступного iscsi, остальные отлично работают и даже пишутся... правда есть нюанс. Политики выбора точки записи могут быть типа: где меньше места, где больше, рандомно. И возможна ситуация, когда согласно политике надо писать на недоступный iscsi и тогда мы вываливаемся в честный read only. В принципе неплохо, но возможно я придумаю вариант, как обойти это ограничение. Проблема на текущий момент в том, что после того, как iscsi стал недоступен, его точка монтирования все еще знает его свободное место до факта недоступности. Если я узнаю, как убедить систему, что если диск отвалился, то его размер равен нулю, то в read only я уже не попадаю никогда и это полная победа. Отпишу по результату.
