Как правильно измерить inference time и FLOPs модели?

Question

[koshelevatamila4741]

Почему-то не могу найти встроенных решений (не уж что нет?) в keras и tensorflow, при этом на сайте
https://keras.io/api/applications/ они предоставляют Time (ms) per inference step (CPU), а почему-то не описали, как вычислили, какую функцию использовали.

Comments

[kamenyuga]

Керас же по умолчанию возвращает время выполнения расчетов. Параметр verbose в обучении/применении модели и т.д. Один раз какой-нибудь код с керасом сам запустишь и все это увидишь.

[koshelevatamila4741]

kamenyuga, Вы имеете в виду, если batch_size = 32 и при обучении было:
Epoch 20/20:
15/15 [==============================] - 27s 2s/step - loss: 0.0947 - accuracy: 0.9894 - top_k_categorical_accuracy: 1.0000 - val_loss: 0.6459 - val_accuracy: 0.7879 - val_top_k_categorical_accuracy: 1.0000
То время необходимое для классификация одного изображения = 27/32 = 0,84375 секунд ?

[koshelevatamila4741]

koshelevatamila4741, Я думаю это неверно, так как использовалась mobilenet, у неё Time (ms) per inference step (CPU) 22.6 = 0,022 секунд

[kamenyuga]

koshelevatamila4741, прям в этом выводе пишется - 2 секунды на шаг, это оно. Сравнивать значения напрямую не имеет смысла - железо разное, версии кода и драйверов разные, размеры батчей разные, настройки расчета/распараллеливания разные.

[koshelevatamila4741]

kamenyuga, Мне это нужно, чтобы сравнить 3 разные модели на моём компьютере, поэтому я ищу способ замерить время вывода, чтобы при повторном прогоне одного и того же изображения время не сильно менялось и можно было сравнить по этому параметру модели (какую можно использовать для классификации в реальном времени (думаю хотя-бы 40 fps должно) и какую нет)

[koshelevatamila4741]

koshelevatamila4741, и почему, например, в этом коде:

spoiler

import os
import time
from tensorflow import keras
from keras.preprocessing.image import ImageDataGenerator

# Load your model
model = keras.models.load_model('MobileNet.h5')

# Create an ImageDataGenerator for your data
datagen = ImageDataGenerator(rescale=1./255)

# Define the path to your data and the batch size
data_path = 'test'
batch_size = 1

# Create a generator for your data
data_generator = datagen.flow_from_directory(
    data_path,
    target_size=(224, 224),
    batch_size=batch_size,
    class_mode='categorical',
    shuffle=False
)

# Calculate the number of batches
num_batches = len(data_generator)

# Measure the time it takes to make predictions on all batches
start_time = time.time()
for i in range(num_batches):
    x_batch, y_batch = next(data_generator)
    prediction = model.predict(x_batch)
end_time = time.time()

# Calculate the average inference time per batch
total_time = end_time - start_time
avg_time_per_batch = total_time / num_batches
print(f"Average inference time per batch: {avg_time_per_batch} seconds")

Постоянно время на шаг >30 ms
1/1 [==============================] - 0s 50ms/step
1/1 [==============================] - 0s 37ms/step
1/1 [==============================] - 0s 40ms/step
и т.д.
НО
Average inference time per batch: 0.13351708315731434 seconds = 13 мс?

[kamenyuga]

koshelevatamila4741, бери больше данных (большее количество батчей - не 15, а сотку), запускай разные модели на одинаковых данных и смотри на время одного шага, которое выводит метод predict. А потом применяй модель не к батчам, а к одной строке данных, опять смотри на время. Путь максимально прямолинеен.

[kamenyuga]

koshelevatamila4741, вот где взял этот код, там и узнавай детали. 0.13 секунды - это 130 миллисекунд. Давай сам побольше экспериментов. По твоей ссылке модели гоняли на серваке ценой в 5 лямов, это просто ориентир, как оно бывает там, где есть ресурсы.

[koshelevatamila4741]

kamenyuga, Так это мой код

[kamenyuga]

koshelevatamila4741, код-то простецкий. Распареллеливание операций в керасе - это отдельная большая тема, освещенная во многих туториалах и гайдах. Имеется ввиду одновременно - применение модели и загрузка следующего куска данных. Ну, и во время применения тоже есть куча параметров и настроек. Сейчас модель применяется примерно за 40-50 миллисекунд, остальное - накладные расходы. Вот в таких же условиях запускай другие модели и сравнивай результаты. Слишком долго - используй видеокарту, оптимизируй код, переходи на плюсы. Вариантов море.

[koshelevatamila4741]

kamenyuga, Код простой, потому что я только начала изучать способы классификации изображений. Сделала свою маленькую CNN модель, применила transfer learning mobilenetv1, mobilenet_v2 и хочу сравнить все три модели по inference time, FLOPs, Top-1 accuracy и не понятно, почему нету встроенной функции в keras, чтобы получить это время в миллисекундах и количество кадров в секунду (1/time)

[kamenyuga]

koshelevatamila4741, время, которое печатает verbose - это именно оно - время расчета. Три модели дают три значения, победа, больше ничего и не надо делать. Эффективность модели можно оценивать десятками или даже сотнями разных формул/способов, они все есть в керасе, надо выбрать нужный и использовать. В одну строчку такое написать не получится, это правда. Оно и не нужно. Это в начале изучения много времени тратится на всякие точности, ауки и графики, со временем пройдет.