Какие видеокарты и какие их комбинации выбрать для обучения нейросетей?
Всем привет! Помогите разобраться в вопросе пожалуйста. Я хочу собрать сервак под нейронки у меня есть двупроцессорная материнка на 6 PCI express, 512gb ddr4 ECC reg, пока стоит одна rtx3060 12gb. 4090 стоят непомерных денег. 3080ti с авито по предоплате без авито доставки, считай на чесном слове за 80-90к стремно брать. Но например 4060 16gb новая за 70к. Так вот сильно ли хуже будет 2-4 таких карточки чем одна 4090? Или можно еще три 3060 по 12gb докупить на пример? Памяти вроде будет суммарно больше но я читал что работать это может все равно медленнее чем одна 4090 так как память напрямую не может взаимодействовать и при объединении данные с карты на карту процом будут гонятся. Основной вопрос на сколько это критично?
Если уж совсем "обучать-обучать", то на нынешний момент Вы попадаете на проф. видеокарты
(H100. A100 с памятью в 80 Гб). Причём - в больших количествах...
Если не совсем обучать, а посмотреть (inference) в режиме "для дома, для семьи" - можно поискать умеющие в NVLink карты 3090
PS. Пойти по пути:
а) понять, с какой именно нейросетью (хотя бы - для начала) вы планируете работать.
Что именно с ней будете делать (обучать с нуля, дообучать/файнтюнить, прикладно использовать)
б) Какой софт для работы с нейросетью будете использовать.
в) Почитать по требования этого софта и по возможность работы на НЕСКОЛЬКИХ отдельных видеокартах. Желательно - найти бенчмарки для схожих режимов. Запросто может оказать, что маркетологи вендора не дремлютЪ и на бытовых картах приемлемых скоростей не добиться
г) По итогам - уэже и подбирать конкретные варианты решения.
