Какие серверные видеоускорители возможно интегрировать в оборудование и какие есть особенности?

Question

[Серая Мышь]

Добрый день, всем!
Вопрос заключается в следующем:

Имеется мат. плата с 5-тью PCIe слотами: 3 из которых 16х (с поддержкой пропускной способности 32Гб/с) и 2 слота 8х (по 16 Гб/с) 4 го поколения.
На борту 2 процессора Intel Xeon 3 поколения (Silver 4310 с возможностью заменить на Gold 6338), памяти 512 Гб.

Задачи: машинное обучение, бигдата, рабочие станции, виртуализация, симуляции, моделирование.

Какие видеоускорители можно использовать (помимо какой-нибудь теслы от NVidia), покрывающие все эти задачи?
Так же интересует чем обустроить слоты 8х 16ГБ/с что бы вытянуть с них максимум пользы?
Какие могут быть сложности? (покупка, доставка, стоимость, драйвера - не являются сложностью)

Comments

[kamenyuga]

Как будто выбор есть. Только разные модели от нвидиа. Амд видеокарты тоже много где работают, но требуют знаний, понимания и настройки. А нвидиа работает сразу из коробки. Для попробовать что-то реальное пойдут любые не слишком старые видеокарты с объемом памяти 16+ ГБ уровня десктоп или рабочая станция. Полный список есть на википедии.

[CityCat4]

kamenyuga, Вот только делить ресурсы видео/пробрасывать видео в виртуалку такая карта может не позволить (зависит от гипера, VmWare - точно нет, KVM (ProxMox) - может быть)

[Серая Мышь]

CityCat4, а можно поподробнее на счет этого? И как себя ведет в таких случаях нвидиа?

[chupasaurus]

CityCat4, Серая Мышь, NVIDIA на уровне драйверов не даёт шарить ресурсы между виртуалками/контейнерами на десктопных видеокартах. Что там у красных не знаю, т.к. я их не щупал лет 10. Теслы/A* - можно.

[paran0id]

Я на практике не пробрасывал в виртуалки, но многоголовая Nvidia Tesla чего-то-там в системе определялась как несколько отдельных GPU, такое должно быть можно пробрасывать по отдельности, но нельзя делить целые процессоры по частям.

[CityCat4]

Серая Мышь, Чего тут подробнее? VmWare дает возможность нарезать ресурсы видеокарт только для строго определенных моделей, весьма и весьма недешевых, точно не скажу каких, давно-давно занимался вопросом. KVM (ProxMox) позволяет пробросить одну видеокарту в одну виртуалку при соблюдении некоторых условий, то есть теоретически поставив несколько видеокарт - можно пробрасывать их в несколько машин. Но там куча условий и куча предварительной работы. А в VmWare все просто - чтобы пробрасывать видеокарту в машину (по частям) - покупай дорогую видеокарту.

Answer 1

[rPman]

Важно что ты будешь делать с этими видеоускорителями внутри виртуалок. Играть бессмысленно. Вычисления гонять - глупо. Очень очень мало задач, которые бы требовали одновременно несколько видеоускорителей в одной машине и не могли бы сравнительно эффективно работать на нескольких.

Как то считал и прикидывал, и понял что себестоимость виртуальной машины с проброшенной видеокартой выше чем стоимость отдельной железки той же производительности, причем значительно.

Есть есть деньги, организуй кастомные корпуса с охлаждением и собирай кластер из mitx материнок с любой десктопной видеокартой (спасибо tenserflow все кушает) через рейзер (боком), из них получатся аккуратные блейды (блокпитания+материнка+видеокарта).

Не экономь на рейзерах. Не экономь на охлаждении (даже о воде). Задумайся о 10G сетях, если тебе нужно считать, да тут материнки пошли с 2.5Gbit, уже приятно.

Comments

[Серая Мышь]

что ты будешь делать с этими видеоускорителями внутри виртуалок

Не обязательно внутри виртуалок, есть запросы по установке нескольких видеоускорителей под одну ОСь для вычислений и симуляций. Вопрос только в целесообразности, а тк условно 1 двупортовая видеокарта 16х выдаст 32Гб/с стается лишь один слот х16 свободный, места под райзеры для доп модулей просто нет. А теслы достаточно громоздкие, по этому ищу альтернативу

Играть бессмысленно.

это само собой, там и железо не приспособлено для игр)

Есть деньги, организуй кастомные корпуса с охлаждением

это интересно, но условный 3U с наворотами не будет пользоваться спросом, тк как правило используют 1-2U и расстояние между полками расчитывают именно под такое железо.

собирай кластер из mitx материнок

у нас собственная мамка, своего производства.

[rPman]

Серая Мышь, как только ты убираешь из задачи виртуализацию, список доступного железа моментально вырастает.

Не одной nvidia мир полнится. OpenCL и поддержка популярных пакетов работы с нейронными сетями и вообще gpgpu типа tensorflow и torch благодаря rocm пополнилась некоторыми моделями от amd
и я не сомневаюсь что у intel тоже будут возникать с этим проблемы, но когда начинаешь считать деньги (соотношение цена/возможности) список GPU резко уменьшается. Сейчас держать для нейронных сетей машины с vram меньше 16гб ... опасно, да, взять готовый и оптимизированный набор весов, может и получится для 8гб, но опять это вопрос изучения (наверняка ограниченность rocm не позволит использовать нормально фишки 16- и даже 8-битной арифметики, вот support list для 16)