Где посмотреть «тяжелые» примеры нейросетей при обучении которых нужны GPU мощности?

Question

[VladikP]

День добрый.

Посоветуйте какие семплы, примеры из tensorflow/keras хорошо грузят GPU?
Или есть тяжелые наборы данных в публичном доступе с примерами их обработки, которые на процессоре быстро не обработать?

Я сейчас провожу замеры производительности железа на различных конфигурациях:
Разные CPU, разные видеокарты (от 1060 до 1080ti в количестве по 5-6 штук на каждом стенде).

Цель, подобрать оптимальные по железу конфигурации стенда для работы сотрудников ML направления.

CIFAR10 с кодом https://www.tensorflow.org/tutorials/images/deep_cnn не предлагать. Очень быстро проходит скрипт, даже если указать max_steps в 1 млн. А смотреть вечно на конечный результат в 0.86 уже надоело.

Answer 1

[Владимир Олохтонов]

Можно вот эту сетку погонять:
https://github.com/davidsandberg/facenet

Вообще лучше всего попросить примеры у ребят, для которых вы готовите компы, они точно знают что им релевантно :)

Comments

[VladikP]

Проблема в том, что проектов сейчас несколько и они все разноплановые, что сказывается на нагрузке.
Иногда обучение вылетает из-за того что CPU загружен на 100%, а видеокарты нет.
Приходится на меньшем количестве карт запускаться чтобы оно прошло до конца.

Есть проекты, которые не особо распределишь между несколькими GPU (ну или разработчики не сделали эту возможность). В таком случае за каждым скриптом задается своя видеокарта. Поэтому такой код для нагрузочного тестирования тоже не совсем подходит.

Вот и ищу готовые примеры и большие датасеты, запустив которые можно смотреть за поведением и загрузкой оборудования.

[Владимир Олохтонов]

Ну кажется, что и при реальном использовании проблемы будут такие же. Вы хотите найти модельную задачу и протестироваться на ней, но совсем не факт, что профиль нагрузки будет таким же у реальных задач.

Поэтому я и предлагаю попросить у ваших сотрудников примеры реальных задач от которых больше всего боли на данный момент.