Как выбрать новый сервер?

Question

[Павел]

всем привет
серьезный вопрос начальство подняло по поводу обновления сервера, а я в серверном железе не очень...
Деньги выделяют, но что покупать?
На существующем сервере параметры подошли к своему логическому завершению, там
8 x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz (2 Сокеты)
96 гб ОЗУ
и рейд контроллер 8x2tb hdd

может есть какой то уже готовый сервер на который слюни текут?
Кто что то подскажет? Каких то конкретных задач по производительности нет, хотелось бы взять один раз и надолго с большим запасом

Comments

[Ивор Барханский]

Любой сервер берётся под задачи. Нужно хоть примерно понимать спектр задач, закрываемы сервером. Без этого вопрос лишён смысла.

[Павел]

Игорь,
на сервере стоит proxmox
nextcloud ~150 человек
два 1с сервера по 50 человек на каждом
еще 2 win serv RDP с спец софтом по 5-10 человек не одновременно
+ еще пару обычных не сильно загруженных win 10

в будущем может добавится количество людей

подскажите как бы Вы решили эту задачу?

[Anonymous]

Павел, Еще рекомендую сказать, какой бюджет чтобы люди могли подсказать железо.

[Павел]

Никита Савченко, 10000$

[Anonymous]

Павел, нормальный бюджет. Можно найти что то достойное. В принципе я не вижу очень сильных отличий серверного железа от обычного компьютерного. Просто нужно разобраться в нем, узнать как и что работает. И на что опираться. Также стоит проанализировать сколько на данный момент нагружаются серверы. Если суммарно всего, допустим 32 гб ОЗУ потребляют серверы, значит берем более 32 гб и т.д.

[Dmitry Roo]

А что значит "подошли к своему логическому завершению"? Чего не хватает?
Памяти?
Процессор на 100% загружен постоянно?
Может жесткий тормозит?
На все эти вопросы нужно ответить перед покупкой

[Павел]

Никита Савченко, 32гб потребляет только nextcloud, один 1с сервер уже давно перевалил за 20гб + на нем люди могут открывать 100500 вкладок в хроме, я думаю ОЗУ надо брать 200-300 гб
у меня больше вопросы по CPU, самой материнке, цены на серверы разбросаны просто как будто рандомно...
например
https://rozetka.com.ua/dell-r540v22/p330707317/cha...
2 х Шестнадцатиядерный Intel Xeon Silver 4216 (2.1 - 3.2 ГГц) насколько это оправдано за цену в 6000$
PERC H730P RAID Controller нормальный ли контроллер?
Насколько сложно расширить память с 64гб до 300, можно ли сразу поставить ~120 , а затем добавить ?
Такие вот вопросы)

[Павел]

Dmitry Roo, память заполнена на 80% , если еще добавить людей то ее уже не хватит
а процессор он в proxmox делится на такое количество виртуалок , мне кажется 2 CPU по 4 ядра очень страдают

а с обьемом hdd пока проблем нет, так как 8 дисков по 2тб в RAID10 дают 7 ТБ места, по производительности и обьему их хватает на текущий момент, в свой сервер я не могу поставить ssd потому что у него нет SATA разьемов , а PCI только х2 , я пробовал в него поставить ssd но скорость была очень печальная, в рейде из hdd в разы быстрее

[Drno]

Павел, а у меня большие вопросы по тому, какой умник додумался всё это кидать в виртуализацию)))))
особенно nextcloud
вынеси некстклауд на реальное железо отдельно

остальное можно в виртуалках подержать

с учетом как винда любит обращения к дискам ...

я бы разбил на 2 хотя бы. по серваки и под рабочие задачи.

[Павел]

Drno, ну вот может как куплю новый сервер, старый оставлю только под nextcloud , ему там будет очень уютно я думаю с такими характеристиками ))

[Dmitry Roo]

Павел, с жестким понятно, с памятью тоже, осталось понять что с процессором. "мне кажется" - это не техническое описание.
Соберите метрики - тогда ваш вопрос решится сам собой.

[Drno]

Павел, нахер ему 96гб оперативки... че вы там гоняете такое))))))))))))))
старый можно оставить под облако + бэкапы... надеюсь Вы их делаете?))

просто если пойдет по "звезде" диск у виртуалки, то Вы уже не восстановите данные... а это он может сделать запросто...

[Павел]

Drno, ну раз 80% занято , то наверно что то таки "гоняет" ))
бекапы делаются на отдельном сервере с 20 ТБ обьемом , раз в сутки
за 5 лет было дело пару раз понадобилось

[Павел]

Drno, а что если сделать например на новом сервере что бы nextcloud был на рейде из hdd , а все остальное на ssd

[Ивор Барханский]

Павел, вынес бы 1С на один\два отдельных сервера, потому что для 1С тактовая частота важнее количества ядер\процессоров и это применимо строго для 1С. Остальное оставил бы на том, что есть.
Отказался бы от NextCloud в проде. Раз в пятилетку оно крашится и поддержки нет и это опенорс. Мы купили Synology и сейчас аккуратно присматриваемся хватит его или нет. До этого был windows fileserver, до него nextcloud, обновление которого однажды встретило нас умершими данными. в ноль и битыми бекапами, которые нормально разворачивались строго на той версии с которой снялись. Восстановились нетривиально и отказались сразу.

[Drno]

Павел, можно и так... я к тому что nextcloud ненадо пихать в виртуалку ))
лично мой выбор, когда надо на 1 машине много всего -
ставим чистый дебиан, далее виртуалки или в KVM загоняем, ну или можно поставить proxmox...

[Павел]

Игорь, я обычно переустанавливаю раз в год-два nc , ошибки были но не критичные, а бекапы я храню больше чем за год

по 1с если выносить то уже будет +2 сервера, говорят для nc тоже отдельный серв, так можно и сказать что виртуализация это гавно)
но поддерживать столько серверов сложнее отдельно, да и бекапы в proxmox делать в одно место проще чем под каждую систему выбирать свое решение

[Павел]

Drno, а почему многие выбирают именно чистый дебиан, а не готовый установщик proxmox который на нем же и основан?

[Drno]

Павел, потому что потом менять то, что внутри Проксмокс сложно. а с чистым дебиан можно самому всё настроить, райд в том числе как тебе надо итд...
потом просто поставить остастку Проксмокс
Еще память может выжираться если там ZFS включена кстати, я вот не люблю её)

[Павел]

Drno, понял, спасибо

[Ивор Барханский]

Павел, виртуализация это не говно, но и не серебряная пуля. У вас разные типы задач, под которые нужно железо разного класса. Под 1С это NVME-диски и мощные процессора по такту, где можно пренебречь количеством голов\ядер; файловое хранилище, где важно ОЗУ под кэш (вы же кешируете в ОЗУ?) и медленные enterprise-grade hdd; виртуализация, где на первое место наоборот выходят процессоры, которым наплевать на тактовую частоту, но чем больше голов\ядер тем лучше и тут уже как бы к нему в довесок напрашивается файловое хранилище, а это свои диски..

Объединять это всё под одной крышей, да - виртуализация тут сосёт. Ну или ОЧЕНЬ дорого, если все эти штуки в одной железке совместить.

Кстати, какие задачи умудряется закрывать nextcloud, что ему 32G озу мало?

[Ивор Барханский]

Павел, если ОЧЕНЬ хочется странного, попробуйте собрать DELL VRTX, но не готов сказать вложитесь ли в бюджет.

[Павел]

Игорь, смотрел много таких и аналогичных серверов, они по сути просто корпус, а внутрянка там сильно отличается

[Валентин]

Drno,

а у меня большие вопросы по тому, какой умник додумался всё это кидать в виртуализацию)

И в чем проблема? Сейчас в виртуалках запускается вообще всё. Да еще и в контейнерах внутри. Под виртуализацию давным-давно серверы расчитаны, всё прекрасно работает.

я к тому что nextcloud ненадо пихать в виртуалку

Ну и почему же?

[Drno]

Валентин, потому что если диск виртуалки у тебя повредится - данные ты хрен вытащишь, в отличии от другой ситуации, когда данные напрямую на винте хранятся

[Павел]

Drno, ну для таких ситуаций в сервере есть RAID

[Drno]

Павел, рейд не спасёт.
Я говорю про повреждение самого файла образа (диска виртуалки) на хосте
На 1 раз сталкивался - это жопа была

[Павел]

Drno, ну бекапы...
а как же хостеры живут? 99% серверов виртуализация

[Drno]

Павел, а хостеры далеко не всегда несут ответственность за сохранность данных. у хостеров снапшоты, так что там обычно быстрый откат если что. да и думаю они ZFS юзают, для экономии места

я просто к тому что образ диска некстклауд, на 2-3ТБ я бы не делал... лучше к нему примонтировать папку с хоста, по NFS\ssh... и пусть себе данные там лежат )
а БД и web - в виртуалке
и если что данные всегда можно будет доставть вне зависимости от виртуалки )

да и бэкапить 2-3ТБ диск - тоже такое себе, его же "дописать" нельзя, его только целиком копировать

[Павел]

Drno, ну я инкрементно бекаплю всю виртуалку , 700 гиг за 3 минуты
юзаю proxmox backup server

[ArcticFox_wap]

Dmitry Roo, По процессорам у него альтернатив нет практически. На данный момент на рынке очень мало камней с высокой частотой. А для него она критична, так как у него 1С на данном сервере крутится.

[Dmitry Roo]

ArcticFox_wap, частота = производительность, по вашему?

[ArcticFox_wap]

Dmitry Roo, Нет это особенности работы 1С, и да в случае с 1С ей плевать на ядра, а вот от частоты напрямую зависит производительность. Для примера результаты сравнительно теста между Intel Xeon Gold 5220 х2 и Intel® Core™ i9-10850K

spoiler

Intel® Core™ i9


Intel Xeon Gold 5220 х2

ну и сравнительный тест производительности при этом насколько понимаю тут берется 1 процессорный вариант .

spoiler

https://www.chaynikam.info/cpu_comparison.html?Xeo...

Answer 1

[ArcticFox_wap]

Какие задачи на данном сервере будут решаться (от этого зависит конфигурация железа) и приблизительный бюджет. Конфигурацию подберу.

Comments

[Павел]

что скажете за такой?

Supermicro SYS-6029P-TR 19" 2U, 2xPSU, Intel C621, 2xLGA3647, up to 2TB (16 slots) DDR4 ECC Registered, 8x3.5" SAS/SATA hot-swap drive bay (optional 2 fixed 2.5" NVMe), SATA 6Gb/s Intel C621 (RAID levels: 0,1,5,10), 2 ports SuperDOM, 2x1GbE (Intel X722, RJ45), IP-KVM, Video, 4xPCI-E (x16), 2xPCI-E (x8), 2xNVMe (OCuLink), 1xM.2 NVMe (22110), Black   1 
      Intel Xeon Gold 6226R 16x2.9GHz, HT, Turbo Boost^3.9GHz, 6xDDR4-2933MHz, Optane Memory, Cascade Lake, 14nm, 150W, LGA3647   2 
      32GB DDR4-3200 ECC Registered Supermicro certified   8 
      960GB Enterprise SSD, SATA 6Gb/s, 1 DWPD    4 
      12TB 3.5" SAS 7200rpm Enterprise , MTBF 2,500,000 hours, full duplex, dual port   2 
      Broadcom 3108 RAID 8 ports SAS 12Gb/s, SAS3108, 1GB cache, optional CacheVault, RAID levels: 0,1,5,6,10,50,60, PCI-E x8 3.0, 2xSFF-8643 int, no cables   1 
      Internal Mini-SAS HD to 4xSATA, Right Angle, 75/75/90/90cm    2

два 1С сервера по ~50 человек,
облако nextcloud 150 человек
несколько виртуалок (3-5шт) с RDP по 5-10 человек windows 10 с не очень ресурсоемким софтом
nginx сервер совсем не требовательный
zabbix

[ArcticFox_wap]

Павел,
Давай разбирать по компонентно:
SYS-6029P-TR - не плохая платформа, единственное нарекание она под 8 дисков формата 3,5
Intel Xeon Gold 6226R - соответствует вашим задачам. 64 потока для ваших задач с запасом, основной критерий на который следует обратить внимание Turbo Boost^3.9GHz - сервер сразу должен быть переведен в режим повышенной производительности.
32GB DDR4-3200 ECC Registered Supermicro certified х8 - вот тут вопрос, вы какую 1С собираетесь на ней запускать. Если это под ERP под 100 человек, то это очень мало. Вы не сможете с таким количеством нормально утилизировать процессор, загрузка будет в районе 20 процентов. Для полного раскрытия потенциала данных камней нужен минимум 1tb с другой стороны брать камни с меньшей производительностью резона нет. По загрузке смотри скрин, там как раз 270GB сейчас под 1С занято (но это отдельная история моей войны с 1сниками)

По дискам все то же не плохо, но вопрос в том какую производительность массива есть желание получить? Какую систему виртуализации планируется использовать? И основной, что из этого ассортимента доступно в наличии?

При последних моих попытках собрать себе 4 сервера, с этим возникли большие проблемы. Благо получилось добыть.
Мы собирали под следующие требования 1С приоритет 4-5 лет закрывает все хотелки в развитии
Итоговая сборка:

spoiler

Серверная платформа - GIGABYTE-R282-Z94 x4
Память Samsung DDR4 64GB RDIMM (PC4-25600) 3200MHz ECC Reg x 128
Жёсткий диск MICRON PCIE 1.92TB 7400 PRO U.3 x40
Процессор AMD EPYC 73F3 16 Cores, 32 Threads, 3.5/4.0GHz x2
Процессор AMD EPYC 7F52 16 Cores, 32 Threads, 3.5/3.9GHz x2 (первоначально планировалось брать 73F3 но столько не нашлось)
Процессор AMD EPYC 7F72 24 Cores, 48 Threads, 3.2/3.7GHz x4
Сетевая карта Intel 10Gb Dual Port E10G42BFSR

+- тот же вариант можно собрать на интел. И обрати внимание диски стоят U.3 опять же такого количества u.2 не нашлось иначе вообще реактивный самолет получился. И обрати внимание на стоимость и производительность U.3 в сравнении с теми которые у тебя заложены.

[Павел]

ArcticFox_wap, U2 U3 это не только отличие корпуса? Я так то на этот параметр внимания не обращал
ОЗУ я добавлю потом при необходимости, вроде как до 2ТБ поддерживает

8 дисков формата 3,5

ну обьем хранения инфы у нас достаточно скудный, даже с прицелом на будущее, сейчас это суммарно не больше 1 ТБ, через год будет максимум 1,5ТБ , ну допустим еще файлы пользователей +1ТБ мусора нарастет, все равно хватит на долго.
Это железо которое я приложил оно просто в наличии уже есть под заказ

Спасибо вам за ответ

[ArcticFox_wap]

Павел, U.2 U.3 это NVME диски (читай M.2) засунутые в формфактор 2.5

Что касается 8 дисков, я не говорю что размер массива данных получится сделать маленький, я говорю о том, что при данном количестве дисков не получится сделать производительный массив с нужным уровнем отказоустойчевости (иногда эффективней засунуть 8 дисков по 2 терабайта чем 2 диска по 14 терабайт) . Хотя в данном конкретном случае следует задать вопрос, а какую операционную систему вы туда планируете засовывать для виртуализации? с учетом наличия Broadcom 3108 RAID подозреваю Windows

[Павел]

ArcticFox_wap, нет не винда, Debian -> proxmox

[ArcticFox_wap]

Павел, тогда у вас очень странно массив собран для него.
Уточните пожалуйста как будут собраны диски. вы добавили в конфигурацию Broadcom 3108 RAID я так подозреваю планируется собирать железный рейд? В данном случае вы части функционала лишаетесь.

[Павел]

ArcticFox_wap, я с ним не знаком, у него какая то связь с windows?
В моем понимании железный рейд со своим "биосом" один раз настроил и забыл
у меня есть 8 дисков по 2тб SAS , я думал в крайнем случае их туда поставить

[ArcticFox_wap]

Павел, Дело не в контроллере а proxmox.
Данная система виртуализации заточена под работу с файловой системой ZFS у которой есть особенности работы с дисковыми массивами.
1. Массив собирается на контроллерах с режимом HBA он же JBOD режим. Так как управление массивом требует прямого доступа к дискам.
2. ZFS работает с дисками достаточно медленно, по этой причине им требуется ускорение. (см скрин пример сборки массива под ZFS.

массив ZFS

Либо вариант 2 вы собираете весь массив уже на быстрых дисках U.2 U.3.
В противном случае вы можете столкнутся с проблемой недостаточной производительности массива.

есть третий вариант сборки массива с использованием EXT4

spoiler

Но в этом случае вы лишаетесь функционала снапшотов.

[Павел]

ArcticFox_wap, снапшоты мне не нужны, я пока не решил как буду делать, может вообще без рейда разбросать виртуалки по разным ssd?

[ArcticFox_wap]

Павел, интересный вариант. proxmox позволяет выделять физические диски на прямую. (опять же тебе рейд не нужен)

Только утром посмотрел регион. А с учетом того что у тебя доступность железа выше, не думал более современную железку собрать?
Процессоры Intel® Xeon® Gold 6328H Intel® Xeon® Gold 6328HL
Платформа gigabyte R282-N81 R282-NO0 R282-N80 R282-3C0

Это 3 поколение процессоров. Попробуй поискать, у меня твой регион нормально не выдается.

[Павел]

ArcticFox_wap, там уже бюджет будет кусаться, буду думать об этом)
вообщем пока что подумал что один 1С сервер поставлю на 1 ssd, второй 1С на второй ssd , а рейд из hdd буду подключать просто для файлов пользователей
и пока у меня хватает 1ТБ под nextcloud его тоже наверно поставлю отдельно
остальные мелкое нагруженные ОС поставлю на оставшийся ssd, я думаю это самый оптимальный вариант

Не знаю правда как корректно протестировать скорость дисков, например cristaldiskmark внутри гостевой ОС будет отображать адекватные результаты?

[ArcticFox_wap]

Павел, Удачного приобретения!
https://winitpro.ru/index.php/2020/04/30/test-iops...
cristaldiskmark - тестировать будет (Он же выдает что видит). Обрати внимание, что диски можно выделять напрямую. Они не должны быть уже смонтированы как массив proxmox.

[Павел]

ArcticFox_wap, благодарю, а можно ваши контакты? Я может быть обратился бы с "мотивированной($)" помощью в будущем )

[ArcticFox_wap]

Павел, Отправил на почту.

Answer 2

[Валентин]

может есть какой то уже готовый сервер на который слюни текут?

Сервер - это инструмент. Который покупается под конкретные задачи. А не так, что "ну вот что-то взять и чтоб надолго". Если задачи не поменяются - будет работать годами. Поменяются - придется и сервер менять скорее всего.

Вам сначала нужно понять требования. Вот вы там описывали, какие виртуалки, сколько на них потребляется ресурсов - вот суммируйте, прикидывайте запас, считайте. Сколько нужно ядер, сколько оперативки, сколько места на диске (и каких дисков - SSD наверняка понадобятся и обычные HDD тоже, под файлы пользователей).

А дальше уже, с понятным списком требований, спрашивайте, что лучше взять. Так, по маркам, Dell'ы неплохи - у них быстрый BIOS, удобный KVM, могут работать с железом, которого нет в списке поддерживаемого. Если у вас уже есть какое-то серверное железо - наверное лучше не устраивать зоопарк, и новый брать от того же производителя. Если нет никакого - смотрите Dell.

Comments

[Павел]

есть supermicro, но он старый, с него нечего уже не взять, в целом я мысль понял, спасибо