Какая библиотека быстрее- tensorflow,pytoch,keras,matlab?

Question

[Евгений Лернер]

Здравствуйте! Есть сравнительные тесты на одинаковых нейронных сетях, наборов данных и компьютерах ? Скорость обучения и скорость работы

Comments

[VoidVolker]

Быстрее в чем именно? По каким характеристикам?

[Евгений Лернер]

VoidVolker, скорость обучения и скорость работы

[VoidVolker]

Евгений Лернер добавьте, пожалуйста, в сам вопрос.

[Александр Скуснов]

Мне кажется, что если есть возможность использования GPU, то уже не важно, какой была начальная библиотека.
https://developer.nvidia.com/deep-learning-frameworks

[Евгений Лернер]

Александр Скуснов, и в gpu скорость будет зависеть от реализации. Те сравнивать надо и на cpu и на gpu

Answer 1

[mayton2019]

Matlab - это старое десктопное приложение. Оно создавалось для работы на конкретной рабочей станции
(десктоп) и скорее всего не сможет использовать ресурсы облака или кластера. По оставшимся
библиотекам tensorflow,pytoch,keras я не знаю. Я-бы почитал их стек технологий. Возможно они совместно
используют общие библиотеки и тогда вопрос надо переформулировать или свести к общим зависимостям.

Но в целом когда говорят о скорости - вопрос звучит обычно так - параллелится ли в облаке алгоритм и
параллелятся ли данные. Если да - то только ваш кошелек ограничивает скорость.

Comments

[Евгений Лернер]

Меня интересует скорость работы нейрона

[mayton2019]

Евгений Лернер, нейрон - это просто произведение вектора входов на вектор весов и применение
функции активации. Это работает везде одинаково. Понимаешь? Это - как посчитать курс валют
на калькуляторе. Поэтому постановка вопроса - скорее всего неправильная. Думай как спросить
правильно.

[Евгений Лернер]

mayton2019, скорость зависит от реализации

[mayton2019]

Евгений Лернер, давай я объясню как я себе это вижу. Современные нейросетевые алгоритмы - это очень длинный стек технологий который включает в себя выбор архитектуры сети. Выбор и подготовку данных. Обучение. И использование модели. И нельзя сводить этот сложный вопрос просто к скорости реализации одного нейрона. Тем более что в этой технологии GPU/TPU эта скорость учтена в матричном уножении матриц вещественных чисел.

Никто в топике не сможет тебе провести сравнение этих скоростей. Это все равно что делать суждения о сервере на основе того как быстро срабатывает транзистор в его аппаратной архитектуре.

[Евгений Лернер]

mayton2019, пустой набор слов

[mayton2019]

Евгений Лернер, как будет угодно.

Answer 2

[Daemon23RUS]

Я могу провести, с Вас одинаковые нейросети с одинаковым датасетом на tensorflow,pytoch,keras и matlab

Comments

[PyWebSol]

как видно на фотографии, во многих случаях быстрее pytorch по сравнению с tf, а keras входит в tensorflow. так что смысла его сравнивать с tf нет.

[Евгений Лернер]

PyWebSol, как вы думаете, почему скорость разная? Лучше написан нейрон? Или что?

[Евгений Лернер]

Позже пришлю инфо. Kerad не стоит проверять. Maylab если получится на том же компе