Дмитрий

Если денег много, то разворачивайте Raid10, дорого, богато, надежно.

Два диска - в Hot-spare, оставшиеся 10 дисков - в RAID10.
Кворум занимает примерно 50-100МБ (на своих кластерах не замечал бОльших значений), также кворум может быть обычной сетевой шарой на каком-то третьем сервере.
Не забываем про бэкап всего этого хозяйства

Диски по 12 тб шпиндельные наверное, 7200 rpm ?
Скорости они особой не дадут, даже в RAID10, все зависит от возможностей СХД.

Если нужна скорость делайте RAID10, если нужен объем, то RAID5 или 6, но будет медленнее. Лучше почить доки на СХД, там могут быть рекомендации. И spare диски оставляйте обязательно 1 или 2. После выхода диска из строя возможно вы его больше не купите либо начальство деньги зажмет и будет год покупать.

Вот тут ссылки на документацию:
https://www.infortrend.com/us/products/service-dow...

Сервер надо подключать к двум разным контроллерам, а не к разным портам одного.

Настраивать надо mpio.
Расшифровку что такое MCS — не нашёл.

После настройки mpio - создавать и настраивать кластерный том.

Ну собственно всё быстро решается как оказалось.
В настройках профиля PPP надо отключить change-tcp-mss. Что бы тик, перстал пхать свои правила в мангл.
Затем привести его к примерно такому виду (у меня лично заколосилось на таких значениях), где pppoe-out1 ваш pppoe интерфейс:

[admin@MikroTik] > ip firewall mangle print 
Flags: X - disabled, I - invalid, D - dynamic 
 0    chain=forward action=change-mss new-mss=clamp-to-pmtu passthrough=no tcp-flags=syn protocol=tcp in-interface=pppoe-out1 tcp-mss=1300-65535 log=no log-prefix="" 

 1    chain=forward action=change-mss new-mss=clamp-to-pmtu passthrough=no tcp-flags=syn protocol=tcp out-interface=pppoe-out1 tcp-mss=1300-65535 log=no log-prefix=""

Я думаю, что если бы ваше железо поддерживало работу разных дисков в массиве, то вы бы об этом знали. Так что покупайте аналогичный диск.

Кроме того, не могу не добавить то, что если вы задаёте такой вопрос, то можете стоять недалеко от края обрыва. Говоря точнее, сценарий начинает напоминать один из типовых, с которыми к нам обращаются за восстановлением данных.

Убедитесь, что вы точно знаете как инициировать корректный ребилд для вашего массива. Корректным я называю противоположность того, который называется forced rebuild у ряда производителей. Если выполните последний, то контроллер пересчитает вам чётность так, будто новый диск содержит реальные пользовательские данные.

После этого единственным шансом на восстановление информации будет создание образа того диска, который полетел. И, разумеется, возникнет рассинхрон по тем файлам, которые изменялись после этого.

И тут может возникнуть проблема, связанная с тем, что "raid 5 из sas дисков со скоростью вращения 10 тысяч об/мин". Такие диски более надёжны, менее подвержены отказам, т.е. пашут как рабочие лошади. Но: для тех, которые всё-таки выходят из строя, вероятность того, что диск умер безвозвратно, заметно выше. Т.е. САС-диски если и умирают, то гораздо чаще умирают "совсем".

У вас, конечно, может быть "истеричный" контроллер, который выбрасывает диски при малейших подозрениях на проблемы, но я бы на это не полагался.

Так что берите подходящий диск, а если сомневаетесь, то перед его установкой пронумеруйте оставшиеся диски массива, подключите напрямую, и сделайте несжатую полную посекторную копию каждого диска. Да, потребует времени и места, но с клонами, даже если что-то пойдёт не так, вы сможете всё вернуть.
В противном случае рискуете стать нашим клиентом. Оценить для себя целесообразность рекомендаций выше можете ознакомившись с ценами на восстановление RAID: https://rlab.ru/raidrecovery/

Скажите, какие последствия я получу если поставлю диск менее быстрый и меньшего объема?

Никакие :) Контроллер откажется принимать такой диск, только и всего. Диск должен быть равного или большего обьема. А что до скорости - RAID5 и без того по скорости не звездит, а появление среди десятитысячников одного медленного диска приведет к тому, что весь массив начнет работать так, как если бы все диски стали семитысячниками :) Ну то есть падение скорости на треть.

ну как минимум он не сможет войти в рейд либо его надо будет разрушить и пересоздать с учетом 2тб места на каждом диске
логично не тупить и вставлять диск на 3 тб

Ничего не будет работать - диск должен быть равного или большего объема, но точно не меньшего.

А если вы вколхозите более медленный диск, общая скорость массива у вас упадет, причем сильно.

Поставить в точке 3, ближе к углу стены, должно хватить нормально без проблем на все, до кухни может будет хреновато добивать, но там оно особо и не надо, если критично, можно в кухню будет добросить какой самый дешевый репитер

Поставить один нормальный роутер в коридоре (3) и везде будет работать.
Проблема на ровном месте.

5GHz затухнет после 1й же стены не из гипсокартона
Как вариант: центральный микротик без вафли и с capsman и в каждую комнату (по необходимости) 5ггц ТД на минимальной мощности

l2tp/ipsec, пока клиентуры мало, потом будет труднее всех перекинуть если компания планирует маштабироваться.