Какие видеокарты и какие их комбинации выбрать для обучения нейросетей?

Question

[X-Proger]

Всем привет! Помогите разобраться в вопросе пожалуйста. Я хочу собрать сервак под нейронки у меня есть двупроцессорная материнка на 6 PCI express, 512gb ddr4 ECC reg, пока стоит одна rtx3060 12gb. 4090 стоят непомерных денег. 3080ti с авито по предоплате без авито доставки, считай на чесном слове за 80-90к стремно брать. Но например 4060 16gb новая за 70к. Так вот сильно ли хуже будет 2-4 таких карточки чем одна 4090? Или можно еще три 3060 по 12gb докупить на пример? Памяти вроде будет суммарно больше но я читал что работать это может все равно медленнее чем одна 4090 так как память напрямую не может взаимодействовать и при объединении данные с карты на карту процом будут гонятся. Основной вопрос на сколько это критично?

Comments

[Komrus]

Если уж совсем "обучать-обучать", то на нынешний момент Вы попадаете на проф. видеокарты
(H100. A100 с памятью в 80 Гб). Причём - в больших количествах...

Если не совсем обучать, а посмотреть (fine-tune) в режиме "для дома, для семьи" - можно поискать умеющие в NVLink карты 3090

PS. Пойти по пути:
а) понять, с какой именно нейросетью (хотя бы - для начала) вы планируете работать.
Что именно с ней будете делать (обучать с нуля, дообучать/файнтюнить, прикладно использовать)
б) Какой софт для работы с нейросетью будете использовать.
в) Почитать по требования этого софта и по возможность работы на НЕСКОЛЬКИХ отдельных видеокартах. Желательно - найти бенчмарки для схожих режимов. Запросто может оказать, что маркетологи вендора не дремлютЪ и на бытовых картах приемлемых скоростей не добиться
г) По итогам - уэже и подбирать конкретные варианты решения.

PPS Бенчмарки с разным количеством разных видеокарт:
https://github.com/XiongjieDai/GPU-Benchmarks-on-L...

Answer 1

[begemot_nn]

Если очень грубо, то чтобы обучать сетку, нужен размер, памяти чтобы модель полностью влезла в память и умножить это на три. Это должна быть память одного GPU.
Складывать память нескольких GPU. В общем случае - это боль.
Если совсем упрощенно - то одна 3090 лучше чем две 4060.
Иногда некоторые этапы лучше оффлоадить на CPU. А в двухпроцессорной системе надо ещё и внимательно настраивать numa.
Иначе будет как у сотен людей, что с половиной ядер инференс идёт быстрее чем со всеми ядрами.
В общем - в данное время самое узкое место это время которое тратится на обмен с памятью.