Какой выбрать мощный компьютер или суперкомпьютер для машинного обучения?

Question

[Евгений]

Проблема
Есть возможность потратить некоторую (большую) сумму денег на покупку компьютера для решения разных задач машинного обучения.
Предложения на рынке обычно упираются в комплексы на GPU. За 250т-1000т можно найти много предложений готовых сборок на картах NVIDIA. Тут все просто и понятно. Есть одно НО.
GPU хороши для мелкозернистого параллелизма. Это отлично прокатывает в нейронных сетях или линейной алгебре, где есть возможность представить все в матрицах и операциях с матрицами.
Область машинного обучения включает множество методов и моделей, а еще методы пред- и пост-обработки данных. А они уже не распараллеливаются или, если и могут, то разбиваются на крупные куски, которые выполняются последовательно и очень не быстро. Использование GPU тут не дает никакого выигрыша по скорости, но усложняет сильно жизнь для разработчика.
Простой пример. Эволюционные алгоритмы параллельны по своей сути (популяция, в которой индивиды-решения независимы). Самое затратное - вычисление оценок пригодности индивидов. В прикладной задаче придется делать несколько десятков или сотен таких оценок, а каждая оценка это работа с данными или другой моделью, которая вычисляется последовательно. Отличный вариант многоядерные CPU - одно ядро делает одну оценку. Простейшая реализация и почти пропорциональное ускорение.
Вопрос
Я не силен в железе. Существуют ли решения (полупрофессиональные, суперкомпьютер уровня МГУ не надо), в которых можно одновременно использовать более одного многоядерного CPU + GPU? Или какие-то платформы для сборки таких систем?

Comments

[sim3x]

Зачем оно вам?
Вы занимаетесь ML?

[Евгений]

Да.

Answer 1

[Иван Шумов]

AWS https://aws.amazon.com/ru/machine-learning/
Azure https://azure.microsoft.com/ru-ru/services/machine...
GCP https://cloud.google.com/products/ai/

и перестаньте лохматить бабушку и отдавать бешенные деньги за то что потом будет стоять в углу

Comments

[P747]

https://www.rbc.ru/technology_and_media/19/11/2019...

[Иван Шумов]

P747, я понимаю что очень классно пробовать меня поправить, но статья вышла на 4 месяца позже моего комментария)

Answer 2

[Алексей Ступеньков]

Google colab free gpu

Comments

[Евгений]

GPU не решает проблем.
Для НС - да, для например ГП - нет.
В любом случае, спасибо за наводку.

Answer 3

[АртемЪ]

Во первых есть облачные сервисы - ничего не покупаете платите за потраченные ресурсы. Обходятся они недешево, но это дешевле чем брать неизвестно какие сервера. А во время рассчетов в облаке можно мониторить нагрузку, и на основании этого составлять требования к серверам. Когда будут известны четкие требования можно и купить.

Во вторых - такие задачи можно раскидать на несколько машин, это довольно несложно. Сервер раздающий задания и клиенты которые получают свою часть обсчитывают и возвращают результат. Таким образом можно задействовать уже имеющиеся мощности, подключить добровольцев, заинтересованных людей которые предоставят мощности.

существуют ли решения (полупрофессиональные, суперкомпьютер уровня МГУ не надо), в которых можно одновременно использовать более одного многоядерного CPU + GPU?

Существуют, но не в стиле - пошел и купил в магазине. Такие вещи разрабатываются под заказ.
По сути это вычислительный кластер.
Можете создать сами, можете купить у тех кто занимается производством таких решений.

суперкомпьютер уровня МГУ не надо

Значит надо делать самим. Есть открытый и бесплатный софт для реализации вычислительных кластеров.

Comments

[Евгений]

Грид - выход. Буду думать.
Кластер уже собрали. Он не однородный, надо балансировать как-то. А силы хочется тратить на ML, а не создание инфраструктуры для распараллеливания.
Про попробовать облако ради понимания нагрузки - за это спасибо, не подумал.

Answer 4

[⚡ Kotobotov ⚡]

я тоже в целом посоветовал бы что-то арендовать если так надо, но обычно любую задачу можно решить на обычном компьютере бытовом, без всяких выкрутасов, просто объем данных сократить, или вы хотите чемпионом мира по анализу данных стать? если именно такая задача, то вам лучше в начале показать какой-нибудь результат на уровне мастера, а потом уже кооперироваться с кем-нибудь, кто будет предоставлять кластер.

Answer 5

[CityCat4]

Я не силен в железе

Тогда наймите того, кто в нем силен и кто подберет его именно под Ваши задачи. И возможно у него уже есть выходы на интеграторов, которые и железо сразу поставят.

Или Вы всерьез думаете, что кто-то Вам тут забесплатно посоветует как потратить мульен?

Answer 6

[ivodopyanov]

>> Проблема
>> Есть возможность потратить некоторую (большую) сумму денег на покупку компьютера для решения разных задач машинного обучения.

Всем бы такие проблемы :)
Похоже, вы еще не знаете, какие задачи будете решать, но уже пытаетесь под это оптимизироваться.
Конкретизируйте сначала постановку задачи.