Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, мне для учёбы. =)
Если серьёзно, то я пока что разбираюсь. Если НС как лего, то скорее всего будут перепробованы разные варианты - и MLP, и LSTM, и свёртки, и комбинации всего этого.
А сами данные - таймсерии.

Сколько ядер у процессора Интел i5-8400?

Ezhyg, начните со взятия в руки калькулятор ... или экселя, если доступен. =)

Сколько ядер у процессора Интел i5-8400?

мда... я думал прошли времена, когда люди частоту процессора высчитывали как - процессор на 2 ГГц, значит 4 ядра это 2*4 = аж 8 ГГц(!) (или 2/4)

Ezhyg, хочу вас расстроить - времена такие не прошли. Так майкрософт считает. =) Берётся частота по ядрам без турбобуста и считается за 100%. А потом берётся частота одного ядра в турбобусте и делится на предыдущее значение. Вот так и выходят завышенные проценты.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, вы про тензоры или о чём конкретно?

З.Ы. я так понимаю мой вопрос медленно уходит в небытие. =)

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, если 1-к-1, то куплю 2080. Если 1-к-2, то наверно 1080ti.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, нет. =)
Вы не ответили на мой вопрос. Чего где больше в каком случае - это я знаю.
Вопрос в эквивалентности расхода памяти - ОЗУ и память видеокарты.
Вы можете запустить одну и туже сеть на обучение у себя на CPU и GPU, и сказать разницу в "потреблённой" памяти? Желательно, чтобы процесс целиком поместился в память видеокарты.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, подождите.

Зависит от кол-ва параллельных потоков: уменьшите - будет меньше занимать оперативки,

Кол-во потоков - ни на что не влияет

Какое из высказываний правильное?
Объём памяти влияет на максимальное количество потоков, но потоки на память не влияют. Т.е. если модель с выборкой влезла целиком, то она влезла, если нет, то нет. И ничего не изменишь. Можно только оптимизировать перераспределение ресурсов.
Так вопрос состоит в том, что если весь питон со всеми моделями и переменными при обучении на CPU занимает 7 Гб оперативной памяти, то влезет ли всё это в память 8-и гигабайтной видеокарты? Или всегда есть коэффициенты х1,5 или х2 или ...?

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

Иван Шумов, зачем доллар час, если можно бесплатно 24? ну ладно. + 2,5 р/кВт. =)
Если НС профессия, то вариант правильный. Если "интересно, а что дальше - не знаю", то лучше вк.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, что такое очереди и потоки представление имеется. Возможно не смогу объяснить научно, но понимаю как это работает.
Одно но ... выделяется память под хранение результатов потоков до расчёта промежуточного итога, остальное "забивается" обучающей выборкой. Если она не влазит в память, то она постоянно подгружается из оперативной памяти. Как вариант результаты потоков хранятся в оперативной памяти, вся память видеокарты забивается обучающей выборкой (если не влазит, то подгружается). Какую-то часть памяти занимает сама структура сети (описание шейдеров или что-то такое). Как на это всё влияет количество потоков? Только на размер описания сети?

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

Иван Шумов, бесплатно? Я согласен. Куда загружать мои гигабайты? =)
А так, майнеры по паре лет круглые сутки гоняют, поэтому надеюсь неделя в месяц сильно делу не повредит. И почему перегревать? Нужно продумывать систему вентиляции и не запихивать всё в корпуса Mini-ITX.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

xmoonlight, т.е. проста сеть MLP можно рассчитывать на 1-к-1?
Количество потоков - вы подразумеваете количество одновременно обсчитываемых нейронов или количество нейронов в сети в принципе?

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

т.е. возможен вариант 1к 1?
А если использовать настройки Keras/TF по-умолчанию?
для примера возьмём простые слои Dense.

Обучение нейронной сети видеокартой и процессором - какая разница в потреблении памяти?

возможно это рентабельней, если смотреть только со стороны обучения НС ... а поиграть? =)

Сколько ядер у процессора Интел i5-8400?

Moskus, уже в качестве флуда - а как его можно ещё понять, если чёрным по белому написано Prime95 = 25%? Разворачиваешь рядом стрелочку и там 1 процесс на 25%.

Сколько ядер у процессора Интел i5-8400?

Moskus, скачал, запустил. Теперь действительно Prime95 в одном потоке показывает 16.65%, в 2-х потоках 33,3% и свободные ресурсы соответственно. Диспетчер задач показывает по прежнему чушь.
Диспетчер задач - шляпа.
Спасибо за помощь. =)

З.Ы. Запишете это в ответ - поставлю как решение.

Сколько ядер у процессора Интел i5-8400?

Moskus, спасибо. =) В смысле, это первый аргументированный ответ. Но боюсь это не совсем случайность.
Специально скачал Prime95. При запуске одного потока в диспетчере загрузка около 25%, при двух потоках - 50%, при трёх - 75%, ну а дальше только 100%.
Это тоже параноидальная идея? =)
Не исключаю косяки со стороны майкрософта, но думал может кто-то знает более точно, в чём дело.

Сколько ядер у процессора Интел i5-8400?

Moskus,

Или по-другому - почему на шестиядерном процессоре однопоточная задача "съедает" ровно четверть производительности?

Нужна ли для обучения нейронных сетей профессиональная видеокарта с ECC?

⚡Дима Кубитский ⚡, абсолютно согласен, но я попытался заглянуть дальше поставленного вопроса. Если автор новичок, то решение квадро будет избыточным и лучше вложиться в производительность. Ну а так да, автору решать - исключить 1% вероятности сбоя или увеличить скорость расчёта в 2-5 раз.

Сколько ядер у процессора Интел i5-8400?

Ezhyg, вы похоже женщина - тогда извините, что сразу этого не понял и начал уточнять. Я надеялся, вы можете аргументировать своё высказывание, а оказался ваш максимум "Ой, всё!"

Moskus, можете конкретно указать на место, где идёт выдумка? Или по-другому - почему на шестиядерном процессоре однопоточная задача "съедает" ровно четверть производительности?

Нужна ли для обучения нейронных сетей профессиональная видеокарта с ECC?

Иван Мельников, мне кажется оно того не стоит. Нейронные сети - это больше подгонка под ответ. Здесь нет потребности в 100%-й точности расчётов. В случае ошибки при тренировке алгоритм постарается вернуться к прежним "правильным" значениям весов. Лучше за эти деньги купить более мощную видеокарту, чтобы быстрее пересчитывать, чем медленно, но более точно считать неточные данные.
М4000 считает со скоростью 2,5 гигафлопа. Обычная GTX1060 почти в два раза быстрее (4,5 гигафлопа), GTX1080(без ти) в 3,5 раза быстрее (8,8 гигафлопа).
Если у вас CAD или кодирование видео, то в приоритете точность. Если НС, то лучше скорость. ИМХО.