Задать вопрос
@Meller008
серверы

Самосборная СХД, для маленькой компании?

Привет. Ищу совета, информацию.
Сразу скажу, я не опытный админ, самоучка. Поэтому вопросы глупые, но как то надо вертется)

У нас небольшое производство, и небольшая серверная, которая собрана на старом железе, купленном на авито за копейки. (HP DL360G7, HP DL160G5, и даже такое kraftway es24)
Сейчас у меня появилась идея собрать маленькую схд, для серверов esxi + для бекапов.
Почему решил попробовать собрать СХД

У меня 2 сервера с ESXI HP DL360G7. Когда я их купил, то вставил обычные недорогие ssd. В каждом сервере 4 ssd на 250г, собранные в зеркальный рейд. Все завелось и заработало. Но с этим решением есть проблемы. Во первых очень маленькие скорости. Мне кажется даже на обычных hdd все работало бы быстрее. Вторая проблема, после правильного выключения сервера, у меня пропадают datastore в esxi, после нескольких перезагрузок появляются, и переходят в режим восстановления (если я это правильно понял). Один раз это привело к поломанной базе 1С, благо у меня были бекапы. Теперь я банально боюсь выключить сервера для того что бы их почистить от пыли.
Покупать sas диски от HP, мне никто не даст, да если честно я и сам не готов отвалить безумные деньги за все это.
Вторая причина сборки схд, это возможность переносить виртуальные машины с одного сервера на другой, что бы почистить от пыли, или что то про апгрейдить. (не уверен что так можно делать, но в теории думаю да)


Я попробовал на своем старом HP DL160G5 вставить обычный старый жесткий диск, установить truenas, и подключить его по ISCSI через обычный ethernet провод, через существующую локальную сеть. У меня все получилось, и я получил скорость больше чем на текущем решении. (возможно я не правильно это дело тестирую, но как есть)
Мои тесты

Это виртуалка на ssd которые стоят в сервере
64ad5310bb473544683543.png
Это виртуалка на iscsi диске
64ad45131804a852508872.jpeg


Прошу совета как бы это все дело собрать на стареньком БУ железе, которое можно купить на авито, еще и с ценником 30-40к (без учета HDD). На что обратить внимание. Хочется что бы схд был всеядным и поддерживал hotplug для дисков, ну и что бы дружил с ssd. Из объемов максимум 2Тб Для виртуалок + примерно 500Гиг для бекапов.

Я хочу попробовать собрать на supermicro. Я так понимаю сервера этой компании никак не привязаны к вендорам. Правильно ли я понимаю что главное прикупить хороший современный контроллер который дружит с ssd?
Поставить truenas. Купить отдельный коммутатор и подключить все это обычным ethernet 1 gigabit в отдельной сети.

Поделитесь опытом или советом. Возможно у меня в голове каша, и много чего не понимаю, уже 2 дня гуглю этот вопрос.

p.s.
Попробую добавить информации о потребностях.
Сейчас работают 10 виртуалок на них небольшие базы MsSql и MySql, FreePbx для телефонии, zabbix, и вякая мелочь которая нужна для работы. Я предположу что нагрузка у меня минимальная. Но какая нагрузка в пике я не знаю. Бекапы базы данных я делаю каждую ночь, но базы маленькие до 1Гиг, поэтому нагрузка маленькая.
  • Вопрос задан
  • 542 просмотра
1 комментарий
Подписаться 2 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 5
anthtml
@anthtml
Системный администратор программист радиолюбитель
У нас небольшое производство, и небольшая серверная, которая собрана на старом железе, купленном на авито за копейки. (HP DL360G7, HP DL160G5, и даже такое kraftway es24)
Сейчас у меня появилась идея собрать маленькую схд, для серверов esxi + для бекапов.

Для всего лишь двух DLок, так понимаю третий уже под NAS собирать СХД сильно жирно
выключить сервера для того что бы их почистить от пыли
А как вы СХДшку от пыли чистить соираетесь? Оппа, уже нужна вторая СХДшка.
Купить отдельный коммутатор и подключить все это обычным ethernet 1 gigabit в отдельной сети

1 gbps = ~ 80 МБс. У Вас в нынешней конфигурации 189. Т.е. уже сейчас ваша локальная конфигурация по скорости обыгрывает предельную конфу 1гбит, для того чтобы утилизировать скорость SSD 550МБc нужна сеть минимум 5гбит.

Поэтому: Выносить отдельно хранилище целесообразно если есть хотя бы шт 4 вычислительных и 2 хранящих ноды и желательно одинаковых.
Для мелкого производства, не беда выкроить в год несколько часов на регламентные работы по обслуживанию.
Насчет вылетов и низкой скорости: разбираться с контроллером, возможно взять другой, ESXi можно загружать даже с флешки, поэтому не обзязательно чтобы контроллер был HP совместимый, главно чтоб был ESXi и SSD совместимый или вообще купить PCI-E райзеров и натыкать NVME если не важна горячая замена - будет еще быстрее работать
Ответ написан
5 комментариев
5 комментариев
@Drno
купи обычную мать в магазине с нужным количеством sata, на Z чипсете. воткни туда простенький i3
СХД разверни на базе trueNas или OpenMediaVault - freebsd \ ubuntu. я выбираю обычно 2й вариант
рейд контроллер - в топку, есть mdadm

виртуалки переведи на Proxmox или голый KVM

сервера от пыли чистятся не часто, если они конечно релаьно стоят в серверной, а не в пылевой комнате.
вполне разумно делать это 1 раз в год \ 2 года
Ответ написан
14 комментариев
14 комментариев
@d-stream
Готовые решения - не подаю, но...
Собственно СХД из дендрофекальных запчастей может стать очень узким местом.
Если тупят sata ssd диски в серверах, то аналогичные sata по сети - будет ещё унылее...

Когда взрослые СХД подключают - там скорее речь идёт о 16Gbit FC и т.п.
Но с FC сейчас не так чтобы совсем хорошо. И надо бы смотреть на 40GbE/100GbE - более-менее б/у могут оказаться не совсем дорогими. Чтобы обойти коммутатор - при полной уверенности что роста количества серверов не будет - можно смотреть на многопортовые сетевухи для СХД.
Ну и дальше - сама дисковая система - "взрослые" делят диски на несколько сортов: высокоскоростные на базе ssd, быстрые hdd и "архивные" тормоза. Но при этом зачастую строят хитрые raid с своего рода кэшем на ssd. Для образчика MSA2062 с раскладом 4*1.8Tb SSD + 8*8Tb archive hdd как раз по всем показателям попадала в плепорцию ssd/hdd на фактических нагрузках примерно 400...500ВМ
Соответственно стоит уделить внимание и контроллеру.

Правда очень сомнительно что это всё уложится в скудный бюджет трети домашнего игрового компа... Но хотя бы частично можно попробовать двигаться в этом направлении.

p.s. ну и ещё можно поиграться с размером RAM - раздув его с запасом как буфера/кэш
Ответ написан
2 комментария
2 комментария
hint000
@hint000
у админа три руки
У меня все получилось, и я получил скорость больше чем на текущем решении. (возможно я не правильно это дело тестирую, но как есть)
Мои тесты
Что-то вы делаете неправильно. Не обязательно это "что-то" - тесты, но что-то неправильно. Прямое подключение дисков (DAS) к хосту должно работать быстрее, чем вынос тех же дисков на другой хост и подключение через сеть (NAS). При прочих равных условиях. Даже если сеть не будет узким местом, она всё же будет добавлять задержку.
У вас в обоих вариантах плохая скорость.
Сейчас прогнал тест на своей виртуалке.

Хост: ПК-платформа (т.е. не серверное железо), Ryzen 3600 на чипсете b450, SATA SSD популярной модели "860 PRO" без RAID. На хосте три виртуалки WinServer (одна из них с минимальной нагрузкой, но тесты не на ней). Виртуалка, на которой выполнены эти тесты, имеет роль 1С-сервера + СУБД MS SQL. На момент теста было ~30 подключенных пользователей, которые, конечно, своей активностью ухудшали результаты теста, т.е. очевидно, что в нерабочее время тесты показали бы лучшие результаты. И всё-таки это гораздо быстрее, чем у вас. Гипервизор - Qemu/KVM. Обратите внимание: я специально прогнал тест на системном диске (C:) и на другом (F:); и, как видите, на системном заметно хуже результат по записи, просто потому, что система его нагружает во время работы. Делать тест на диске C: вообще некоректно.
64ae412d531be388802636.png
64ae419d482fe406347250.png

Когда я их купил, то вставил обычные недорогие ssd.
Вот одна ошибка. Увеличиваете ценник на SSD в 3-4 раза при том же объёме дисков - и получаете заметно лучший результат.
Сейчас у меня появилась идея собрать маленькую схд, для серверов esxi + для бекапов.
Вот здравая мысль - вынести бэкапы на отдельный хост.
Покупать sas диски от HP, мне никто не даст, да если честно я и сам не готов отвалить безумные деньги за все это.
Тем более, что SAS будут медленнее хороших SSD. Вообще бесперспективняк. Я понимаю, когда SAS впаривают админам-мамонтам, они как 15 лет назад привыкли, что SAS - это круто, так и не могут отвыкнуть. Но вы-то себя называете неопытным админом, у вас должен быть свежий взгляд, зачем заводите разговор об устаревших технологиях.
как бы это все дело собрать на стареньком БУ железе, которое можно купить на авито, еще и с ценником 30-40к (без учета HDD).
...
Правильно ли я понимаю что главное прикупить хороший современный контроллер который дружит с ssd?
хороший RAID-контроллер стоит сейчас дороже, чем 30-40к и останется 0 рублей на всё остальное. Так что остаётся вариант HBA (host bus adapter) без RAID, а RAID делать софтовый на mdadm. Не слыхал, чтобы встречались хоть какие-то контроллеры, которые не дружат с SSD, почему бы им не дружить.

Вам бы для начала не СХД городить, а разобраться, почему у вас настолько медленно работает дисковая подсистема. Она должна быть быстрее при прямом подключении дисков. С одной стороны это могут быть сами диски медленные (вы не назвали модель), с другой стороны - неэффективное\недостаточное кеширование, с третьей стороны - высокая дисковая активность от каких-то виртуальных машин.

P.S. Надеюсь, VMWare Tools установлены на виртуалках? А то мало ли.
Ответ написан
3 комментария
3 комментария
pred8or
@pred8or
Одно время использовали проприетарные SAN EMC с подключением по FC. Ну и накушались! Диски понимает только одобренные EMC (читай - выложи хрен знает сколько денег за замену). FC-коммутатор тоже радости не доставлял, хоть и был имени IBM.

Короче, лет 8, наверное, назад начали миграцию. С тех пор используем только самодельные хранилища (сначала на тех же FC, чтоб хоть часть инфраструктуры потянуть подольше), сейчас на 10-гигабитном Ethernet. Хранилища - на основе стареньких, но вполне рабочих серверов. Есть несколько на платформах Supermicro, сейчас тестируем перед пуском в продакшн какой-то IBM. Главное, чтоб можно было воткнуть RAID-контроллер и сетевуху нужную. Найти пару стареньких, но избыточно мощных для этой задачи процессоров Xeon и массу памяти ECC для этих серверов - не проблема. В качестве операционной системы хранилища используем ESOS (Enterprise Storage OS). Начинали с версии 0.9, сейчас - 4.1. Система грузится с флешки, работает полностью в памяти. Хранилища разные под разные задачи. От объёмистых на 7K SATA до быстрых на 15K SAS. В любом случае, даже хранилища на SATA по пропускной способности и latency в наших условиях бьют локальные диски на рабочих станциях. Вот так мы отучили пользователей хранить данные локально.

Хранилища подключаются к кластеру на XCP-ng - тоже ещё один классный продукт. Поскольку все виртуалки - на SAN, живая миграция их с хоста на хост - дело нескольких секунд (не то чтобы это часто требовалось, но пару раз сильно выручило).
Ответ написан
3 комментария
3 комментария
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Backend PHP Разработчик
Integrilla
от 120 000 ₽
PHP Разработчик - Team Lead
Integrilla
от 150 000 ₽
Программист SQL
САМО-Софт • Москва
До 220 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Интеграция Битрикс в наше FastAPI приложение
01 мая 2024, в 02:11
5000 руб./за проект
Правки в макет Figma
01 мая 2024, в 00:29
2000 руб./за проект
Верстка сайта
01 мая 2024, в 00:20
15000 руб./за проект
Ещё заказы