Turing и нейронные сети — кто-нибудь уже пробовал?

Question

[Дмитрий]

Дяденька в кожанке обещал, что на видеокартах RTX скорость обучения нейронных сетей вырастет в разы по сравнению с Паскалем. Кто-нибудь уже проверял это на конкретных примерах? Есть какие-то данные сравнения скорости обучения НС на Паскале и Тьюринге? Не реклама и заказные обзоры, а реальные цифры.
На хабре где-то читал, что, к примеру, Вольта хороша в свёрточных сетях, а в рекуррентных прирост не существенный. Поэтому больше интересуют данные по рекуррентным сетям.

Comments

[longclaps]

Вольта хороша в свёрточных сетях, а в рекуррентных прирост не существенный.
Поэтому больше интересуют данные по рекуррентным сетям.

(с сомнением) Покупать будете или просто интересуетесь?

[Дмитрий]

longclaps, хочу купить. Если прирост реально в разы, то жду 2070. Если как в играх (15-30%), то есть хороший вариант (точно из игрового ПК) 1080 за 25к.

[longclaps]

FerroPanda, для обучения вам и gf750 хватит за глаза, а под реальную задачу - заказчик оплатит железяку.

[Дмитрий]

longclaps, я исполнитель и я же заказчик. Мне и оплачивать. Только вопрос - что именно оплачивать. =)

[longclaps]

FerroPanda, читайте раздел Memory Bandwidth и делайте выводы.

[Дмитрий]

longclaps, то что я искал как раз было в этой статье.
Спасибо тебе, добрый человек. =)

Answer 1

[Дмитрий]

Ответ в этой табличке
https://docs.google.com/spreadsheets/d/1xAo6TcSgHd...

из этой статьи
https://blog.inten.to/hardware-for-deep-learning-p...

Comments

[Дмитрий]

купил RTX 2070 ... замечательно, но есть большое НО.
По сравнению с Паскалем при формате расчётов в FP16 скорость поднимается дополнительно на 60-80% в "мелких" проектах (на прямую GTX vs RTX не сравнивал). Но как только объём обучающей выборки переваливает 7 Гб - моя карта превращается в тыкву. Загрузка ядра 30-40% из-за постоянной подкачки данных в память.
Вывод - на первых порах хватает и GTX 1070-1080. Для серьёзной работы - критичен объём памяти. И это не +3-4 Гб, а порядка 24-48 Гб.