Проблема в том, что проектов сейчас несколько и они все разноплановые, что сказывается на нагрузке.
Иногда обучение вылетает из-за того что CPU загружен на 100%, а видеокарты нет.
Приходится на меньшем количестве карт запускаться чтобы оно прошло до конца.
Есть проекты, которые не особо распределишь между несколькими GPU (ну или разработчики не сделали эту возможность). В таком случае за каждым скриптом задается своя видеокарта. Поэтому такой код для нагрузочного тестирования тоже не совсем подходит.
Вот и ищу готовые примеры и большие датасеты, запустив которые можно смотреть за поведением и загрузкой оборудования.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Иногда обучение вылетает из-за того что CPU загружен на 100%, а видеокарты нет.
Приходится на меньшем количестве карт запускаться чтобы оно прошло до конца.
Есть проекты, которые не особо распределишь между несколькими GPU (ну или разработчики не сделали эту возможность). В таком случае за каждым скриптом задается своя видеокарта. Поэтому такой код для нагрузочного тестирования тоже не совсем подходит.
Вот и ищу готовые примеры и большие датасеты, запустив которые можно смотреть за поведением и загрузкой оборудования.