Как бюджетно собрать минисервер для ml?

Question

[raiboon]

Слишком я полюбил маки, и основная машинка у меня мак.

Но хочется собрать себе комп под ml с 1-2 видюхами, с 20+ гигами видеопамяти. Бюджетно я имею в виду, не полноценный сервер дома с парой a100, а несколько сотен тысяч рублей, но с возможностью играть в современные mlные штуки.

Но хотелось бы чтобы оно было в минимальном форм-факторе, чтобы не сильно мешалось в студии. На что смотреть?

Comments

[Dmitry Roo]

Слишком я полюбил маки, и основная машинка у меня мак.

Какое это имеет отношение к вопросу?

Но хочется собрать себе комп под ml

это противопоставление чему?

несколько сотен тысяч рублей

Это от 200 до 900тр. Не слишком ли широкая вилка?

[raiboon]

> Какое это имеет отношение к вопросу?
> это противопоставление чему?

Я пожаловаться, что отдаю денег на макбуки, а поиграться с ml не могу.

> Это от 200 до 900тр. Не слишком ли широкая вилка?

Я плохо разбираюсь в том, как найти баланс между ценой, перфомансом и объемом видеопамяти. Предполагаю, что на тостере найдется кто-нибудь, кто изучал тему и сможет предложить оптимальное по цене soho-решение под ml. Все таки надеюсь, что оно будет ближе к 200, чем к 900.

[GavriKos]

raiboon, баланс простой - больше цена - больше перфоманс и видеопамять

[CityCat4]

raiboon,

Предполагаю, что на тостере найдется кто-нибудь, кто изучал тему

возможно

и сможет предложить оптимальное по цене soho-решение

это менее вероятно, так как это уже работа. Разве только найдется продажник с конторы, которая оборудованием торгует...

[12rbah]

с 20+ гигами видеопамяти

Тут не особо много вариантов, либо комп на 3090(если найдете), либо на 4090, вероятно бюджетный комп выйдет около 250-300к с 1 такой видюхой

Answer 1

[rPman]

Не гадай - считай.

Берешь размер моделей, которые тебя интересуют, умножаешь на 4 (размер моделей в весах, каждый вес это 2-4 байта, сильно зависит от алгоритма, и часто есть оверхед по требованиям) - и тогда ты сможешь делать обучение (не только finutuning но делать с нуля свою модель). Для просто использования можно пользоваться квантизацией, уменьшающей потребление памяти в разы (8bit - 1байт на вес, 4bit - пол байта на вес).

Если в оперативную память видеокарты влезут еще и обучающие данные - это будет win-win, если будет можно сразу несколько моделей там продублировать - как я понимаю чуть ли ни линейный прирост к обучению (ну может в квадратный корень из количества).

Потребительские видеокарты быстрее современного процессорного железа в задачах ML - в лучшем случае в 10 раз, точно читал что при использовании хороших интел процессоров (инструкции avx512...) можно добавить прироста в тех же llm чуть ли не 2х..3х, но придется сильно ковыряться с софтом, по простому там начинаются конфликты версий (у меня не получилось по простому собрать transformer чтобы использовать ускорения просто intel avx2, есть готовые докер образы от интел но внутри другие проблемы лезли), но почти наверняка в простых ситуациях все будет хорошо.

Для finetuning потребительские видеокарты вполне подходят, народ арендуют железо на vast.ai и вроде бы довольны.

Итого, если твое время не слишком высоко стоит (т.е. ты готов вместо нескольких часов обучения тратить недели) то тебе хватит и процессора (не скупись на процессор, а вот оперативную память не обязательно брать топовую), особенно если альтернатива тратить 100х больше денег (не шучу) на a100 80GB железки и получать да может 20х прирост к скорости, но стоит ли?

И наоборот, если тебе не надо крутить модели сложнее 1b-5b, то почему бы и не задействовать для этого GPU. Но для ML подходят пока только nvidia (в этом мире правит тот, подо что есть эффективный софт, amd тут догоняющие, причем в 2-3 раза хуже)

p.s. точно есть fpga железки, например в слот ddr3, в теории их можно использовать для и вычислений, но вот лучше-хуже это будет я не смог понять, надо покупать и тестировать.