"Сформулирую вопрос более точно.
Верно ли утверждение, что общая производительность системы будет примерно равна производительности одного GPU, помноженного на количество GPU?"
Не совсем. Точнее - зависимость нелинейна. Будет тратится время и ресурсы собственно на распараллеливание а потом на агрегирование полученных результатов. Причем, как я написал, все будет зависеть от того, как алгоритмически и программно вам удастся распараллелить свою задачу. Но тем не менее, рост будет. Так что утверждение - "производительность машины с шестью GTX 1050 Ti незначительно превысит одну GTX 1080 Ti "
может оказаться не верным. Однако, если
"Есть возможность забрать этот комплекс за счёт предприятия.
Есть очень большая вероятность, что ближайший год у меня возникнет потребность в периодической проверке некоторых гипотез на основе большого датасета."
то почему не взять? У меня бы даже вопрос не возникло :-). "Дают - бери, а бьют - все равно бери" :-) Тем более непонятно, у вас альтернатива "брать-не брать" или "брать 6 карт послабее или одну мощную"?
В случае с шестью картами я могу менее болезненно пережить выход из строя GPU, ибо запас.
- ну тут и сомневаться не приходится.
"Не хочется много времени тратить на проверку гипотез. Можно будет разбить датасет на батчи и за сравнительно небольшое время получить результат."
если задача это допускает. Т.е. смотря, какие методы проверки гипотез вы задумали применять и как. Не со всеми задачами это можно сделать. Обработка "большого датасета" не всегда вычислительно-сложная задача, для которых разумно использовать видеокарты. Ну, классический пример: задачи типа перебора словаря. В таких задачах все упирается в распараллеливание хранилища, а обработка - тривиальна. Но тут вам виднее, конечно.
Пожалуйста, расставьте запятые в вашем ответе. Я ничего из последовательности из сотни слов без знаков препинания понять не могу. Увы.
Я также не могу понять, что такое "максимальный период", почему данные "не корректны" и кто это решил, что значит в вашем понимании "собрать в едино" (и для чего?), и что такое "понятные данные"? И для чего, собственно, вы данные масштабируете?
Подаются данные на вход не так, как я или вы хотите/можете/умеете, а как этого требует та нейросеть, которую вы собрались использовать.
А в принципе я вам ответ уже дал. Подавайте все данные, которые можете.
Основной закон исследования данных - "Используй все, что можешь. Отсекай все, что оказалось ненужным". Тем более, если работаем через нейронку - она и сама решит, что отсечь. Если правильно ее построите.
Я же написал - работаем через API. Вот все,что оно вам позволяет получить, то и подавайте.
Вопрос "тогда в каком виде?" - как то вводит меня в ступор. Задам контрвопрос - а в каких видах вы эти данные можете подать?
Только вот проблемка.
Вы сначала посчитали среднее, потом ИЗ ВСЕГО массива его вычли, а потом посчитали ст.отклонение уже по вот такому вот уменьшенному значению.
На самом деле станд.отклонение необходимо считать по не измененным данным (по первым 200000 его экземплярам), а уже потом применять формулу (float_data-mean)/std.
Т.е. как минимум вторую и третью строки переставить местами.
P.S. Причем тут тег "нейронные сети", да и "машинное обучение" тоже - не пойму. Просто типичная программная ошибка.
1Tima1, Вот IT-сфера очень раскрученная,учитывая тот факт,что почти нигде нет преподавания языков программирования?! Получается все учатся самостоятельно? Простите, вы в каком году живете? Имнно "году", а не "городе"???
Образование в сфере IT наверное самый распространенный на сегодня вид образования. Количество людей получающих специальности связанные с ИТ сегодня превышает - огромно. ИТ-специальности сегодня разьве что в деревнях не учат. И на всех ИТ-специальностях (и нет только) ПРЕПОДАЮТ программирование. Другое дело, что не все студенты ОБУЧАЮТСЯ программированию. Но это совсем другой вопрос. Впрочем, как и то, что специальность "программист" - это не только и даже не столько знание языка программирования.
1Tima1, В какой - в Московский им.Михаила Ломоносова, или в Кацапетовский им. Остапа Бендера?
Да перестаньте быть ребенком. Пойдите в ближайший универ и сами посмотрите их специальности и их программы. Поговорите с впускниками/студентами. Зайдите на кафедры - это можно. Или опять ждете готовых рецептов?
1Tima1,
Вот пойдете на работу - там и будете использовать. А скорее всего на первых этапах получите совершенно неинтересное и совершенно скучное задание типа "заменить цвет вот этого квадратика с синего на красный". Ну вот тогда и поймете, что дали вам "интересные книжки с картинками", а что скучные с примерами решения вот таких вот скучных задач. Деньги отданы,а результата нет --->>> welcome to the real world
1Tima1,
Так это же нормально! Чем большим большим объемом знаний вы овладеваете, , тем меньше нового можете узнать из книжек.
Ноль новой информации - пролистали и отложили. Нормально!
Взяли следующую и пошли лопатить.
Проблема-то в чем? Или вы ожидаете, что тут вам напишут список (последовательность) книжек, которую необходимо читать? Таки у каждого она своя.
1Tima1, Ничего. Плохо то, когда вместо получения знаний по ЛЮБЫМ книжкам ищут себе оправдание в том, что "книжки не те".
Если действительно хотеть получить знания- это можно сделать по любым книжкам. Если находить себе оправдания "почему я плохо усваиваю знания" тогда да, время приходится тратить на бесконечный поиск "хорошей-лучшей-самой лучшей-еще более лучшей-суперпупер лучшей............ книги".
Не в книжках тут дело.
Сергей Горностаев, Основное отличие между вами и ТС в том, что вы (мы :-), только я еще раньше, чем вы ) учились программировать во времена, когда ни интернета не было, ни книжек (почли любых) не достать, ни опытных коллег в обозримой округе было не сыскать, по Скайпу с ними не посоветоваться, ни форумов где тебе ответят на вопросы не было. И до всего приходилось доходить своим умом, опытом и настойчивостью. И сидели, долбили, не замарачивались вопросами.
А сегодня - пожалуйста книг завались, в сети ресурсов не то что уйма, а океан, на любой вкус, цвет, и настроение. Вот и возникают вопросы - "а как-же мне учиться"? И не просто учится, а что-бы интересно было, удовольствие от учебы получать, книжки не сложные, да без непонятных буковок, но такие, что-бы сразу давали профессиональные и полезные знания, да что-бы прочные и полные.
Да блин, просто учится надо! Пока ТС размышляет на тему как и по какой книжке учиться в соседней деревне Вася после чистки коровника и Кумар в Бангалоре после работе на фабрике сядут и разберутся с очередной темой. Решат/запрограммируют десяток минизадачек по неинтересному учебнику или сложному сайту. Вот вам и минипрактика. Зададут пару вопросов, которые действительно им непонятны на форуме. И пойдут учиться дальше. А завтра - именно их возьмут на работу джуном или на фриланс-проект, пока ТС размышляет о красоте бытия, полезности учебника и сколько книжек сделают из него специалиста.
Тарас Сереванн,
Т.е. два тождественных изображения сдвинутые на 20 пикселов вправо и 10 вниз - дадут "бесконечное" расстояние Хэмминга, так как ВСЕ пикселы будут отличаться. Равно как и два изображения, масштабированные на несколько процентов.
Неплохое такое определение похожести.
BadCats, Ну если ради интереса - то изучайте.
Хотя с вероятностью 0.99999999999999..... могу сказать, что ответ на ваш вопрос будет отрицателен. Ну, хотя-бы потому, что на сколько я помню, эвклидовость/неэвклидовость пространства никак не влияет на определение меры расстояний в нем. Оставшаяся доля - на то, что вы гений, сделаете выдающееся открытие и ваше имя будет золотыми буквами вписано в историю математики.:-) Удачи.
Верно ли утверждение, что общая производительность системы будет примерно равна производительности одного GPU, помноженного на количество GPU?"
Не совсем. Точнее - зависимость нелинейна. Будет тратится время и ресурсы собственно на распараллеливание а потом на агрегирование полученных результатов. Причем, как я написал, все будет зависеть от того, как алгоритмически и программно вам удастся распараллелить свою задачу. Но тем не менее, рост будет. Так что утверждение -
"производительность машины с шестью GTX 1050 Ti незначительно превысит одну GTX 1080 Ti "
может оказаться не верным. Однако, если
"Есть возможность забрать этот комплекс за счёт предприятия.
Есть очень большая вероятность, что ближайший год у меня возникнет потребность в периодической проверке некоторых гипотез на основе большого датасета."
то почему не взять? У меня бы даже вопрос не возникло :-). "Дают - бери, а бьют - все равно бери" :-) Тем более непонятно, у вас альтернатива "брать-не брать" или "брать 6 карт послабее или одну мощную"?
В случае с шестью картами я могу менее болезненно пережить выход из строя GPU, ибо запас.
- ну тут и сомневаться не приходится.
"Не хочется много времени тратить на проверку гипотез. Можно будет разбить датасет на батчи и за сравнительно небольшое время получить результат."
если задача это допускает. Т.е. смотря, какие методы проверки гипотез вы задумали применять и как. Не со всеми задачами это можно сделать. Обработка "большого датасета" не всегда вычислительно-сложная задача, для которых разумно использовать видеокарты. Ну, классический пример: задачи типа перебора словаря. В таких задачах все упирается в распараллеливание хранилища, а обработка - тривиальна. Но тут вам виднее, конечно.