Нужна ли для обучения нейронных сетей профессиональная видеокарта с ECC?

Question

[Иван Мельников]

Как я понимаю, микросбой в памяти видеокарты может повлиять на результат обучения нейросети. Действительно ли это так и насколько это критично? Какие видеокарты используют в реальности для обучения нейросетей?

Answer 1

[⚡ Kotobotov ⚡]

сбои да случаются, при длительном обучении (неделю и более) особенно в связках с несколькими картами - это вполне себе влияет. На сколько критично? зависит от софта, если вы там каждую эпоху логируете, то можно попробовать выкрутиться, и отлавливать моменты сбоя, перезапуская процесс обучения с точки сбоя.

Comments

[Иван Мельников]

А карта с ECC решает эту проблему? Например, видеокарта Quadro M4000.

[⚡ Kotobotov ⚡]

Иван Мельников, да

[Дмитрий]

Иван Мельников, мне кажется оно того не стоит. Нейронные сети - это больше подгонка под ответ. Здесь нет потребности в 100%-й точности расчётов. В случае ошибки при тренировке алгоритм постарается вернуться к прежним "правильным" значениям весов. Лучше за эти деньги купить более мощную видеокарту, чтобы быстрее пересчитывать, чем медленно, но более точно считать неточные данные.
М4000 считает со скоростью 2,5 гигафлопа. Обычная GTX1060 почти в два раза быстрее (4,5 гигафлопа), GTX1080(без ти) в 3,5 раза быстрее (8,8 гигафлопа).
Если у вас CAD или кодирование видео, то в приоритете точность. Если НС, то лучше скорость. ИМХО.

[⚡ Kotobotov ⚡]

FerroPanda, может лучше бюджетное, а может лучше профессиональное решение - он должен сам для себя решить.
Может человеку надоело что у него одна из 3х карт через день крашит всю систему при обучении, при том чтоб обучить, требуется например месяц.
решения само собой разные по цене, разные по классам и подходят не всем.

[Дмитрий]

⚡Дима Кубитский ⚡, абсолютно согласен, но я попытался заглянуть дальше поставленного вопроса. Если автор новичок, то решение квадро будет избыточным и лучше вложиться в производительность. Ну а так да, автору решать - исключить 1% вероятности сбоя или увеличить скорость расчёта в 2-5 раз.