hint000

У меня все получилось, и я получил скорость больше чем на текущем решении. (возможно я не правильно это дело тестирую, но как есть)
Мои тесты

Что-то вы делаете неправильно. Не обязательно это "что-то" - тесты, но что-то неправильно. Прямое подключение дисков (DAS) к хосту должно работать быстрее, чем вынос тех же дисков на другой хост и подключение через сеть (NAS). При прочих равных условиях. Даже если сеть не будет узким местом, она всё же будет добавлять задержку.
У вас в обоих вариантах плохая скорость.

Когда я их купил, то вставил обычные недорогие ssd.

Вот одна ошибка. Увеличиваете ценник на SSD в 3-4 раза при том же объёме дисков - и получаете заметно лучший результат.

Сейчас у меня появилась идея собрать маленькую схд, для серверов esxi + для бекапов.

Вот здравая мысль - вынести бэкапы на отдельный хост.

Покупать sas диски от HP, мне никто не даст, да если честно я и сам не готов отвалить безумные деньги за все это.

Тем более, что SAS будут медленнее хороших SSD. Вообще бесперспективняк. Я понимаю, когда SAS впаривают админам-мамонтам, они как 15 лет назад привыкли, что SAS - это круто, так и не могут отвыкнуть. Но вы-то себя называете неопытным админом, у вас должен быть свежий взгляд, зачем заводите разговор об устаревших технологиях.

как бы это все дело собрать на стареньком БУ железе, которое можно купить на авито, еще и с ценником 30-40к (без учета HDD).
...
Правильно ли я понимаю что главное прикупить хороший современный контроллер который дружит с ssd?

хороший RAID-контроллер стоит сейчас дороже, чем 30-40к и останется 0 рублей на всё остальное. Так что остаётся вариант HBA (host bus adapter) без RAID, а RAID делать софтовый на mdadm. Не слыхал, чтобы встречались хоть какие-то контроллеры, которые не дружат с SSD, почему бы им не дружить.

Вам бы для начала не СХД городить, а разобраться, почему у вас настолько медленно работает дисковая подсистема. Она должна быть быстрее при прямом подключении дисков. С одной стороны это могут быть сами диски медленные (вы не назвали модель), с другой стороны - неэффективное\недостаточное кеширование, с третьей стороны - высокая дисковая активность от каких-то виртуальных машин.

P.S. Надеюсь, VMWare Tools установлены на виртуалках? А то мало ли.

В интернете нашел информацию, что при перепаде в 4 градуса уже будет выпадать роса.

Только перепад должен быть в противоположную сторону. Вот когда вы холодный сервер занесёте в тёплую комнату, тогда на нём выпадет роса. В обратную сторону это не работает, на сервере, который заметно теплее окружающей среды не может выпасть роса, это простая школьная физика.

Что же касается заявленных производителем условий эксплуатации... Наиболее вредны минусовые температуры для жёстких дисков, это связано с работой механических частей, это реально может убить HDD. Если в сервере только SSD и нет HDD, то можно без особого вреда эксплуатировать при температуре около нуля и чуть ниже нуля (до -10 градусов я вам разрешаю, :) а в -20 уже не желательно). Если обернуть корпус теплоизоляционным материалом и частично прикрыть вентиляционные отверстия, то сервер очень даже неплохо сам себя согреет, вполне может до комнатной температуры и даже выше.

И ещё раз: роса образуется, когда вы его выключите, оставите на некоторое время остыть до температуры заметно ниже комнатной и потом занесёте в комнату. В этом случае просто не надо его в комнате включать, пока он не согреется и не просохнет (одного часа должно хватить).

Как сделаете, так и будет.
mdadm не ограничивает полёт фантазии, в том числе позволяет делать глупости.
Вендор-лоченые железные решения (а также fake-raid) имеют ограничения, заданные в их програмной части, но чтобы об этих ограничениях вообще имело смысл говорить, нужно назвать конкретные модели контроллеров.
Оптимальный вариант - четыре RAID1 по два диска. Эти четыре зеркала объединены в RAID0.
А если говорить теоретически и в общем случае, то вам не нужен RAID 10 из 8 дисков.

на 4-киловаттную стойку за киловатт, допустим 430 $ в Европе, а сколько такая современная стойка примерно есть в месяц энергии?

4 (кВт) * 24 (часа) * 30 (дней) = 2880 (кВт*ч)
А вот будет ли стойка нагружена на все 4 кВт - это другой вопрос.
Кроме потребления оборудованием в стойке надо ещё не забыть потребление кондиционерами, охлаждающими стойку. Если только ЦОД не расположен где-то в арктическом регионе.

https://qna.habr.com/answer?answer_id=1704463
Забавно видеть рекомендации Ryzen 7/9 под 5 пользователей, когда Ryzen 5 тянет 40+ пользователей.
Насчёт серверного железа - его преимущества проявятся при сотне пользователей и/или когда у вас хотя бы штук пять серверов (числа условные, конечно). А вот недостатки серверного железа испытаете сразу (как админ). Так что при ваших масштабах самосбор на ПК-шном железе - то, что доктор прописал.

Камеры пишут видео на ЖД

Неправильно. На ЖД пишет видеорегистратор, а не камеры. Видеорегистратор - это и есть "сервер", который вы хотите велосипедить. В этой схеме китайцы лишь предоставляют белый адрес для доступа к регистратору. Без китайцев можно либо получить белый (и статический) адрес у провайдера, либо арендовать VPS и настроить VPN.

Если под словом "сервер" подразумевается железо, то...
в первом приближении архитектура сервера не отличается от архитектуры ПК. Есть лишь отдельные "серверные" компоненты, более навороченные функционально. Но архитектурно ничего необычного там нет. Об этом нет смысла писать книги. Ну ECC-память, ну IPMI, ну полноценные RAID-контроллеры, ну крутой сетевой адаптер на борту, ну FC (fiber channel), ну расширенные средства диагностики, ну поддержка двух БП, ну регистровая память (чтобы запихнуть её побольше), ну мультипроцессорность. Всё это фигня, ничего принципиально необычного для ПК там нет.

WD Blue - это дешевые диски потребительского уровня. Как и другие подобные диски, они не рассчитаны на установку в системный блок в количестве более 2 штук (хотя в явном виде производитель это нигде не заявляет). Чем больше дисков установлено, тем сильнее вибрация всего системного блока. Сами диски не очень рады этой вибрации. Но диски корпоративного (enterprise-) класса делаются так, чтобы продолжать нормальную работу при более высоком уровне вибрации, их нормально ставить по 8 штук в сервер (иногда и больше), но и цена на такие диски гораздо выше. Ну а у потребительских дисков в таких условиях производительность упадёт до плинтуса (они будут сбиваться и перечитывать сектора по несколько раз); может быть и умрут они раньше срока - тут не обещаю, как повезёт.
Хотите ставить 8 дисков в один сервер - покупайте диски WD Gold или аналоги других производителей.

Не можно, а нужно! Использовать общее! Но если очень хочется, то можно дополнительно заземлить отдельно (но особого смысла в этом я не вижу). Кроме того, есть такая штука - СУП = Система Уравнивания Потенциалов. Основная СУП должна делаться при строительстве здания. Дополнительная (ДСУП) - делается в пределах квартиры в многоквартирном доме. Погуглите об этом. При наличии коробки СУП можно завести туда провод от корпуса шкафа - вроде бы это соответствует нормам ПУЭ.

Рейд контроллер обязательно (тут тоже вопрос, что лучше интегрированный или дискретный)

- вы там потише со словом "обязательно". Один только приличный контроллер может стоить больше, чем ваши 90 000 р. А "неприличный", за копейки - это такая штука спельциально для головной боли админа. При таких бюджетах забудьте вообще про RAID-контроллер. RAID прекрасно делается программный без всех недостатков железного. Другое дело, что у вас (по предыдущим вашим вопросам) вряд ли есть опыт работы с любым RAID, так что я немного за вас побаиваюсь.

Для 1С-сервера хорошо подходят десктопные процессоры, но хотите xeon - ваше дело... тормозные они под 1C... смысл xeon'а в том, чтобы напихать в сервер вагон и еще маленькую тележку памяти, а при 16..32 ГБ - этого смысла просто нет, а так да, 16 ГБ на 10 человек должно хватить.