Целесообразно ли использование двух RTX 5080 для обучения нейросетей?

Question

[P1oneer]

Будет ли существенный профит в использовании двух RTX 5080 для обучения нейросетей в сравнении с одной аналогичной видеокартой? Какие способы и технологии лучше использовать для этого. Отсутствие поддержки NVlink сильно накладывает ограничения? И как оно работает вообще.

Comments

[Алексей 〒.]

Кажется целесообразнее взять одну RTX 5090 вместо двух 5080

[nidalee]

Если TL;DR, то: всегда берите самое мощное видеоядро с тем объемом памяти, которого достаточно для обучения вашей нейросети.
Несколько карт нужно только если задача не помещается в одну ни при каких условиях. (почти) В любом другом случае одна карта будет быстрее, если в ее VRAM все влезает.

Answer 1

[Максим Припадчев]

Может быть, такое, что и одна практически в холостую будет работать. Все зависит, от архитектуры нейронной сети и от архитектуры пайплайна.

Comments

[P1oneer]

Ну а в каких сценариях и как можно объединить их производительность? Или вообще смысла нет в двух подобных картах?

[Максим Припадчев]

P1oneer, Во главе всего стоит архитектура, без нее обсуждать нечего. Какими кусками происходит процессирование данных, сколько видеопамяти на кусок надо, и т.д. Это в рамках Нейронной сети, а в рамках реального проекта, строятся эксперементальные пространства и т.д.

Есть архитектура, есть вопрос, каким образом в рамках конкретной архитектуры распределить имеющиеся ресурсы. Вне контекста архитектуры, обсуждать нечего.

[rPman]

в мире нейронных сетей чаще всего узким горлышком является vram, так как в нее должна помещаться
- веса нейронной сети
- обучающие данные
- промежуточные данные для вычислений

существуют алгоритмы (и архитектуры), позволяющие почти без штрафа, распаралеливать вычисления (иногда даже прирост в несколько процентов получить можно, например gpt нейронки). А иногда вроде бы архитектура позволяет, но никто не удосужился запилить рабочий код, или он есть но уже не поддерживается (например попробуйте генераторы видео на нескольких gpu запустить, какой-нибудь wan или hunyan вроде заявлена поддержка но на практике не работает, точнее не работает квантизация и оптимизации по ram, а они на тех же gpt работают)

в общем случае, минимальные требования к работе - что бы сама нейронная сеть влезла в vram (плюс несколько процентов для работы) а остальное из ram подгружать (узкое место будет шина pci-e, и на десктопных железках она будет 4x если видеокарт несколько)

на практике, несколько видеокарт по суммарной стоимости за vram получится выгоднее чем одна крутая, но софт желательно заранее проверить наличие поддержки, или потратиться на программистов (дороже чем видеокарта)