Можно ли подключить >1 видеокарты для обучения нейросетей на torch?

Question

[katya_chatskaya]

Впервые сажусь обучать нейросеть, мне дали готовый код, если это важно, то вот. Там есть строчка:

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

Насколько понимаю, cuda - это видеокарта nvidia, с ней можно быстрее обучаться.

У меня есть несколько таких видеокарт помимо той, которая уже стоит в моем компьютере. Подскажите, возможно ли подключить к процессу несколько штук и ускорить обучение? Где об этом почитать?

Меня в том числе интересует, как именно подключить видеокарты, не только код на питоне. Сейчас они просто стоят в углу комнаты и вообще не знаю, что с ними делать

Comments

[kamenyuga]

Убери 0, будет просто GPU - все, что доступны. Либо оставь, чтобы использовать конкретную видеокарту, - полезно для параллельного запуска нескольких экспериментов на разном железе. Видеокарты должны быть одинаковые. Так и гугли "pytorch use gpu", "pytorch use multiple gpu".

[katya_chatskaya]

kamenyuga, спасибо, насчет 0 уже поняла. Дополнительно ничего не требуется? Просто подключить все видеокарты и нумеровать себе спокойно?

[kamenyuga]

Драйвера должны стоять. И сама куда вместе с библиотеками для нейросетевых расчетов. Все подробно описывается в куче гайдов от самого пайторча и в куче разных источников. "pytorch get started". "pytorch guide with gpu". https://pytorch.org/get-started

[Александр Скуснов]

Борис Алексеев, это, видно, устаревшая информация, т.к. в torch'е рекомендуется вместо DataParallel использовать DistributedDataParallel.
Я беспокоюсь, что вместо "ничего не надо знать" будет призыв "qna.habr, пошёл нафиг!, заменим тебя на робота"

[katya_chatskaya]

Борис Алексеев, но это гуглится и без бота. Как и сказала в вопросе, интересует не код. Хочется почитать более развернутый материал на тему "вот у нас есть несколько видеокарт, их можно (или нельзя?) подключить вот так или так, для такой-то задачи это подходит, для такой-то - нет. Принцип работы такой-то" Если у человека есть просто гора видеокарт, то класс DataParallel ничем не поможет