Какой Xeon выбрать под рабочую станцию для machine learning?

Question

[vldud]

Добрый день. Подумываю о сборке рабочей станции под задачи из области машинного обучения. Исходя из соотношения цена-качество, видится разумным использовать двухпроцессорную сборку на Xeon. Что-то вроде E5-2683 v4 на сокете 2011-3. Кто-нибудь реализовывал подобную затею? Если да, то какие процы и платы порекомендуете? Интересуют только процы и материнки, про видеокарту писать не надо.

Answer 1

[Александр]

А чем в этом плане Xeon вам поможет ? На мой взгляд лучше сэкономить и в итоге скопить денег на какой-нибудь GPGPU - вычислитель, типа NVIDIA TESLA или что там сейчас можно взять подешевле (возможно Б/У ) Причем выбирать по количеству памяти, чем больше тем лучше. Я не шибко большой спец в этом и может меня поправят, но на мой взгляд всё очень сильно замедляется когда модель для обучения перестаёт помещаться в память ускорителя. Процессор же в этом деле только косвенно участвует. С другой стороны я не знаю какие у вас будут модели, может их вообще на GPU не загнать...

Comments

[vldud]

С другой стороны я не знаю какие у вас будут модели, может их вообще на GPU не загнать...

Вы правы. Я не могу сказать, что среди встречающихся мне алгоритмов так уж много готовы запуститься из коробки на видеокарте. Поэтому я сразу написал: "Интересуют только процы и материнки, про видеокарту писать не надо."

[Александр]

vldud, Ну в таком случае почему бы не рассмотреть вместе с Xeon и старые Threadripper или даже Ryzen. (может быть и Epyc, но новые - это целое состояние, а старых как то видимо мало и китайцы их не распродают) Там в соседней ветке про память пишут... Я бы тут добавил что тогда предпочтительнее брать однопроцессорную систему и причём такую, которая не нуждается в ECC-памяти и поддерживает обычный DDR4. Потому что и многопроцессорность и ECC играют в минус по скорости работы с памятью. (вот первая же ссылка в гугл. Не воспринимайте как рекомендацию, просто для сравнения: 24 потока, 4 канала памяти https://aliexpress.ru/item/1005003433333770.html?_... )

[vldud]

Александр,

Xeon и старые Threadripper или даже Ryzen. (может быть и Epyc, но новые - это целое состояние, а старых как то видимо мало и китайцы их не распродают)

Да, я рассматривал, но соотношение цена-качество, как мне показалось, осталось за Xeon. Материнки под Threadripper стоят неадекватно дорого. Ну и TDP 180 Ватт против 120 у Xeon несколько смущает.

причём такую, которая не нуждается в ECC-памяти

Про ECC-память я с вами согласен.

Потому что и многопроцессорность и ECC играют в минус по скорости работы с памятью.

А можете пояснить, как многопроцессорность играет в минус по скорости работы с памятью? На каждый процессор выделяются свои 4 канала памяти, в чем собственно проблема?

(вот первая же ссылка в гугл. Не воспринимайте как рекомендацию, просто для сравнения: 24 потока, 4 канала памяти https://aliexpress.ru/item/1005003433333770.html?_... )

Я сюда пришел за рекомендациями, так что спасибо вам.

[Александр]

А можете пояснить, как многопроцессорность играет в минус по скорости работы с памятью? На каждый процессор выделяются свои 4 канала памяти, в чем собственно проблема?

Да,но не забывайте про синхронизацию. Т к память между ними разделяется, то при обращениях к одной и той же области один всё равно будет ждать. Но тут понятно, что сравнивать надо одинаковое количество ядер. На мой взгляд лучше взять скажем 24 ядра в одном камне, чем 2 по 12 ядер. И по-моему частота памяти в двух-сокетных системах ниже. К тому же мать на два сокета обычно дороже. Другое дело, если вы оба процессора берёте по максимуму. Но с другой стороны я посмотрел на цены... Может быть вы правы и лучше взять два сокета по финансовым соображениям. (ну это не зря выходит дешевле. Значит такой вариант скорее всего хуже чем один CPU на вдвое больше потоков И да, посмотрел цены на tr4 и офигел! Жалею что пару лет назад не купил себе )))

Answer 2

[rPman]

старый xeon для этой задачи совсем не подойдет...

процессоры для нейронных сетей подойдут дорогие серверные, с большим размером кеша, большим количеством ядер (кстати не обязательно) и многоканальной памятью

если речь о малых суммах, то лучше десктопных не найти - amd rysen cezanne 5700g (5600x/5600g) или intel rocket like 1170k (или 1160kf) смотри разные модели с или без встроенной видео

p.s. нейронные сети это про одновременную работу с большим объемом оперативной памяти, напоминаю что лучшие процессоры будут обрабатывать большую нейронную сеть (для которой требуется 6Gb+ ram) примерно в 20-100 раз медленнее чем на хорошей gpu, полистай тему про неросеть сбербанка

Comments

[vldud]

rPman спасибо за ответ.

старый xeon для этой задачи совсем не подойдет...

А можно поподробнее? По каким именно параметрам не подойдет? Набор инструкций, объем кеша, предельная частота?

если речь о малых суммах, то лучше десктопных не найти - amd rysen cezanne 5700g (5600x/5600g) или intel rocket like 1170k (или 1160kf)

Непонятно. У E5-2683 v4, например, вдвое больше ядер/потоков, чем у amd rysen cezanne 5700g. Не говоря уже про 4 канала памяти.

[rPman]

скорость работы с памятью, и просто каждое ядро будет МЕДЛЕННЫМ (считай 1к попугаев против современны десктопных в 3к)
оно просто устарело, морально

есть еще мультипроцессорные системы (можно такие найти, дешевый проц ~6-10т.р. но дорогая материнка от 20т.р.) там работа с памятью распаралелена, плюс каналов больше, но это всего кратное ускорение максимум, когда как видеокарты дают ускорение - на порядок

[vldud]

rPman,

скорость работы с памятью, и просто каждое ядро будет МЕДЛЕННЫМ (считай 1к попугаев против современны десктопных в 3к)
оно просто устарело, морально

"Морально устарело" - звучит как-то очень абстрактно. И что такого прорывного произошло с процессорами за 5 лет, что десктопный процессор среднего сегмента стал превосходить серверный в 3 раза. Откуда такие данные по попугаям?

есть еще мультипроцессорные системы

Я как раз писал про двухпроцессорную сборку в вопросе.

видеокарты дают ускорение - на порядок

Я знаю про видеокарту. Она у меня есть, вопрос только по процессорам.

[rPman]

vldud,

Я знаю про видеокарту. Она у меня есть, вопрос только по процессорам.

про это нужно сообщать сразу

машинное обучение в основном проходит на видеокарте, соответственно процессор почти совсем не будет задействован, так какая разница?

прорывного, а точнее заметного, за последние 10 лет в процессорах к сожалению не произошло. вот я сел за машину 2013 года, и ее процессор в задачах даже синтетических тестах раза в 3-5 медленней машин которые я описал выше (я про однопотоковые), если задача ускоряется линейно от количества ядер то да, будет прирост еще в 2-3 раза но таких задач даже в озвученной тобой НЕТ (на процессоре никто не будет считать если есть видеокарта), т.е. он будет простаивать в основе своей.

[vldud]

rPman,

про это нужно сообщать сразу

Так я сообщил сразу, в конце вопроса.

машинное обучение в основном проходит на видеокарте

Да вот нет, к сожалению. CUDA это не лекарство от всех болезней. Что-то считается на видеокарте, что-то нет.

[rPman]

вооот, т.е. тебе не считать нейронные сети а подготавливать данные?
если что некоторые вещи тоже можно на видеокарте считать, но да процессор общего назначения удобнее

чем быстрее оперативная память тем лучше, при работе с большим количеством данных кэши процессора и все его фичи уже так хорошо не работают, и главным становится пропускная способность оперативной памяти

все равно лучше современные процессоры чем старый xeon

[vldud]

rPman,

и главным становится пропускная способность оперативной памяти

и вот тут на сцену выходят 4 канала от xeon, разве нет?

У тебя есть опыт сборки на xeon? В вопросе этот момент тоже конкретизирован.

[rPman]

vldud, нет конечно, только аренда, а какая разница?