Задать вопрос
@X-Proger

Какие видеокарты и какие их комбинации выбрать для обучения нейросетей?

Всем привет! Помогите разобраться в вопросе пожалуйста. Я хочу собрать сервак под нейронки у меня есть двупроцессорная материнка на 6 PCI express, 512gb ddr4 ECC reg, пока стоит одна rtx3060 12gb. 4090 стоят непомерных денег. 3080ti с авито по предоплате без авито доставки, считай на чесном слове за 80-90к стремно брать. Но например 4060 16gb новая за 70к. Так вот сильно ли хуже будет 2-4 таких карточки чем одна 4090? Или можно еще три 3060 по 12gb докупить на пример? Памяти вроде будет суммарно больше но я читал что работать это может все равно медленнее чем одна 4090 так как память напрямую не может взаимодействовать и при объединении данные с карты на карту процом будут гонятся. Основной вопрос на сколько это критично?
  • Вопрос задан
  • 224 просмотра
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 1
@begemot_nn
Если очень грубо, то чтобы обучать сетку, нужен размер, памяти чтобы модель полностью влезла в память и умножить это на три. Это должна быть память одного GPU.
Складывать память нескольких GPU. В общем случае - это боль.
Если совсем упрощенно - то одна 3090 лучше чем две 4060.
Иногда некоторые этапы лучше оффлоадить на CPU. А в двухпроцессорной системе надо ещё и внимательно настраивать numa.
Иначе будет как у сотен людей, что с половиной ядер инференс идёт быстрее чем со всеми ядрами.
В общем - в данное время самое узкое место это время которое тратится на обмен с памятью.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы