есть большой дисковый массив(несколько томов по 50Т), с большими файлами(от 200 Мб)
Какую выбрать для него файловую систему для максимальной скорости чтения?
XFS, очень даже ничего. Можно и EXT4. Разница небольшая. Пользуем и ту и ту. Ну а скорость чтения в основном зависит от скорости массива.
Вынес: Ну а вообще-то порекомендую все делать в хранилище типа Ceph, у нас как раз оно и развернуто на 5 серверах с объемом 100тб. Интерконнекты по infiband, внешняя 1/10Gb. В Ceph можно лить по типу S3 - скорость будет чумовая, у нас в пике порядка 7-8GB/s (гигабайт в секунду!) на клиента.
xfs не нравится своей реакцией на сбои питания(она это сильно не любит) и часто её рекомендуют именно для мелких файлов. Кроме того её веский плюс- хитрое кеширование записи, который в данном случае совсем не нужен(записи на массив мало).
a0xff: Ну, на мелких файлах она не особенно. А вот для больших самое оно. У нас как раз специфика - ну очень много мелких файлов. В результате кое-где используем XFS, а кое-где EXT4 (как раз для мелочи).
Ну а вообще-то порекомендую все делать в хранилище типа Ceph, у нас как раз оно и развернуто на 5 серверах с объемом 100тб. Интерконнекты по infiband, внешняя 1/10Gb. В ceph можно лить по типу S3 - скорость будет чумовая, у нас в пике порядка 7-8GB/s (гигабайт в секунду!) на клиента.
Алексей Черемисин: тут хранилище уже развёрнуто(брутто ёмкость 500+ Тб), не всегда хватает скорости. пока не сильно забито, есть возможность перебить часть лун с ext4. но похоже смысла таки нет
a0xff: Хранилище что из себя представляет и как к нему подключаетесь, FC, Ethernet? Сколько портов? Сколько серверов для раздачи контента? Что за ПО в хранилище? Некоторые хранилища могут внутри по всем портам отдавать не файловую систему, а работать в качестве Swift/S3, это может сильно спасти ситуацию, но потребует перестройки вашего ПО!
Алексей Черемисин: мысль понятная, FC, 2 по 2 порта и разнести на разные машины возможности нет. Делал так на другом проекте- там возможность была, но по специфике приложения один физический диск=один лун и сабж там не был применим.
a0xff: у нас такое же храшилище. По два порта на раздающие сервера. Сначала там было gpfs от голубого гиганта, потом сделали два тома в jbod (по тому на раздающий) и включили в общий ceph. Всего в ceph у нас 100TB на 5 серверах с 17 OSD. Внутри все по инфинибанд бегает.
XFS. И забудьте вы про нелюбовь XFS к отключению питания - все эти глюки давно исправлены, но ярлык не очень надежной ФС прилип к бедной XFS как тот банных лист к попе.
Если EXT4 все же выбрать - то на ней хотя бы резерв рута отключите (http://help.ubuntu.ru/wiki/ext4#оптимизация_дисков... Но для 200 Мб фалов EXT2-4 - не слишком гуд - будет много фрагментации (внутрисистемной, о которой вам никто не скажет).
ну у меня не так давно был практикум использования кластера с некоторым зоопарком ФС(xfs/jfs/ext4) в условиях нестабильного питания(не важно почему- машины иногда тухли) и именно ребут системы с xfs доставлял максимум проблем. Поэтому нафиг-нафиг, простите уж
Сам давно использую XFS и еще ни разу с ней проблем из-за отрубания питания у меня не случилось. Более того - внешний диск с XFS спецом выдергивал из разъема во время работы - так и не смог добиться разрушения ФС как не старался. Наверно мне просто сильно везет, а вам - наоборот :)
Sly_tom_cat: а у меня осложненный случай был- запись кешировалась через enhanceio и во время этой записи система повисала :) Случай не совсем обычный конечно, но некоторые выводы о надёжности ФС появились. Но опять же- это другой проект и там другие вводные(прежде всего горизонтальное масштабирование и возможность несколько мутить с физикой) и к сабжу прямого отношения не имеет
