Как сконфигурировать вычислительный кластер?

Question

[Imaginarium]

Здравствуйте.

Как аккуратно подобрать аппаратную конфигурацию кластера в лабораторию, предназначенного для задач моделирования (CFD) и машинного обучения?
Сам я решение представляю следующим образом:
кластер состоит из блейдов, пока в одну стойку, каждый блейд имеет на борту:

• CPU: на Xeon, типа E5-2667 v3 (Haswell) от 2 до 4 на плату;
  
• Memory: не менее, чем по 128 ГБ, подбор конкретных планок по материнской плате;
  
• GPU: Nvidia Tesla K80, по 2 на плату;
  
• Network: Infiniband для связи между узлами;
  
• SSD - много не надо на каждый узел, хватит по 250 ГБ;
  
• Остальное - управляемое питание и проч. - уже к стойке.
  

Но все это я просто предполагаю, идя от требуемой производительности. Что еще мне нужно учесть? С электропитанием вопросов нет, т.к. есть отдельная серверная.
Нужно как-то учитывать характеристики ОС для его конфигурации? Я предполагаю использование RHEL/CentOS на нем.
Наверняка я не представляю даже 10% от подводных камней, связанных с конфигурированием и настройкой, поделитесь, пожалуйста, опытом, о чем еще полезно думать, до покупки железа?

Спасибо.

Answer 1

[oleksandr_veles]

Ремарки.
1. Xeon E5-2640 или 2660 будут оптимальнее, а 2640 и дешевле в 2 раза.
e5-2xxx в 4х процессорном режиме не работают, там нужны 4ххх.
2. GPU: Nvidia Tesla K80 - не уверен что 2 штука влезут в 1U.
По оптимальности лучше брать titan black или titan z, если не нужна пожизненная гарантия (все равно устареют через 3-4 года). Если нужна только одинарная точность для числодробилки - titan x отличное решение.
3. Зачем ssd 250? Для системы хватит 40-60ГБ, для данных лучше внешнее хранилище. При 128ГБ памяти, всегда можно откусить 100ГБ под быстрый диск если что.

Comments

[Imaginarium]

Спасибо за ответ.
По пунктам:
1. Насчет 2660 согласен, в нем аж 10 ядер, для вопросов моделирования это очень хорошо, чем больше тем лучше. Хотелось частоту за 3 ГГц, но выигрыш в ядрах мне нравится. Если будет стоят по 2 на плате, а не 4, но многоядерных - приемлемо, это не самый критичный параметр.
2. Две штуки влезут, у меня есть сервер Supemicro, там аж 3 слота PCI x16 в "карманах" (специальных боксах) под ускорители, у меня там Tesla M2090 стоят, и ничего, молотят как сумасшедшие.
Я предполагаю использовать нечто вроде www.supermicro.nl/products/system/1U/1028/SYS-1028...
Насчет оптимальности: титаны вообще говоря, игровые карты, на них существенного прироста не будет. В суперкомпьютерах их, насколько мне известно, не используют, для счета берутся именно Tesla. Если хотим визуализировать потом масштабные модели процессов, т.е. использовать, например, управляющий узел как рабочую станцию для работы с результатами расчетов - нужно просто поставить туда еще Quadro, связка Tesla+Quadro отлично себя зарекомендовала в модельных задачах.
Разумеется, нужна поддержка двойной точности.
3. SSD не микроскопических размеров нужны, потому что существенный прирост в скорости вычислений в пакетах моделирования заявлен при использовании SSD в качестве места хранения рабочей папки проекта-модели. Но я думаю, что 128-160 ГБ должно хватать.

У меня смешной вопрос: я никогда не работал с виртуализацией, для меня она темный лес - здесь она должна как-то участвовать? Или только если я хочу использовать кластер как одну большую рабочую станцию с 100500 ядрами и 100500 ГБ памяти?

[oleksandr_veles]

titan на кеплерах не совсем игровые, они обычно даже быстрее аналогичный tesla.
Например старый geforce gtx titan быстрее tesla 20.
titan black быстрее tesla 40x
tesla хороши, если берете сотню и важна надежность на года или когда нужно ECC.
В остальном titanы лучше.
Насчет влезет - k80 двухчиповая карта, потреблением почти как две 2090, т.е. кроме геометрии тут вопрос охлаждения двух печек по 300-400Вт при загрузке.
С titan отпадет необходимость городить tesla+quadro, если конечно программно не залочено на дорогущие проф. карты, тут нужно гуглить по конкретному ПО.
По поводу ssd, повторю, при наличии 128ГБ памяти, всегда можно сделать рамдиск на 100ГБ со скоростью на порядки больше ssd.
Причем тут виртуализация не понятен вопрос. На вычислительный кластерах для распараллеливания обычно используется MPI или OpenMP внутри одного узла. Если ПО поддерживает MPI - будет считать на всех узлах, если openMP - на всех ядрах одного узла, ну или их смесь...