Классификация изображений?

Question

[Roma97]

Здравствуйте товарищи!

Подскажите пожалуйста, где я допустил ошибку. Задача в классификации рентгенограмм по заболеваниям на 5 классов. Проблемы две. Первая проблема заключается в том, что точность на валидационной подвыборке почти не изменяется в течение многих эпох (фото). Вторая проблема заключается в крайне низких показателях точности, полноты и F-меры при обучении через максимизацию AUC. Код следующий:

path = '/content/X-Ray/archive/'

train_datagen = ImageDataGenerator(rescale=1./255)
valid_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)

train_gen = train_datagen.flow_from_directory(
directory=path + 'train',
target_size=(480, 480),
color_mode="grayscale",
batch_size=32,
class_mode="categorical",
shuffle=True,
seed=42
)

valid_generator = valid_datagen.flow_from_directory(
directory=path + 'val',
target_size=(480, 480),
color_mode="grayscale",
batch_size=32,
class_mode="categorical",
shuffle=True,
seed=42
)

test_generator = test_datagen.flow_from_directory(
directory=path + 'test',
target_size=(480, 480),
color_mode="grayscale",
batch_size=1,
class_mode=None,
shuffle=True,
seed=42
)

base_model = tf.keras.applications.ResNet50(include_top=False, weights=None, input_shape=img_shape, pooling='max')

model = Sequential([
base_model, # Базовая модель ResNet50
BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001),
Dense(1024, activation='relu'),
Dropout(0.5),
Dense(512, activation='relu'),
Dropout(0.5),
Dense(256, activation='relu'),
Dropout(0.5),
Dense(128, activation='relu'),
Dropout(0.5),
Dense(class_count, activation='softmax')
])

model.compile(optimizer=Adamax(learning_rate=0.001), loss='categorical_crossentropy', metrics='accuracy')

model.summary()

early_stop = EarlyStopping(monitor='val_loss', patience=15, restore_best_weights=True)
checkpoint = ModelCheckpoint("best_model.keras", monitor='val_accuracy', verbose=1, save_best_only=True, mode='max')
history = model.fit(
train_gen,
steps_per_epoch=len(train_gen),
validation_data=valid_generator,
validation_steps=len(valid_generator),
epochs=35,
verbose=1,
callbacks=[early_stop, checkpoint]
)

best_model = load_model("best_model.keras")



Буду благодарен за любые подсказки.

Comments

[Владимир Юрченков]

А вы обучаете каждый раз сначала получается... точность на валидационной подвыборке может быть вызвана элементарной проблемой с обучением, данные проверяли которые отдаете? Dropout добавьте, поменяйте оптимизатор. А так, перебирать варианты, уберите часть слоев Dense, может как раз нужно чуть упростить архитектуру. С AUC рассмотреть другие функции как альтернативу.

[Roma97]

Владимир Юрченков, добрый вечер! Да, данные вновь перепроверил. Этот датасет популярен на каггле и судя по комментариям никто не жаловался на него. Пробовал различные методы. Добавлял регуляризацию, упрощал и усложнял полносвязную сеть на выходе, изменял модель сверточной сети от MobileNet до Resnet101, изменял подаваемые на вход параметры изображений и число объектов в батче. Во всех случаях примерно до 7-10 эпох точность составляет ровно 20% и не изменяется. Если остановить обучение и построить матрицу ошибок можно заметить, что модель дает стопроцентную вероятность одному из классов напрочь игнорируя остальные (всего 5 классов и в каждом одинаковое число объектов). Попросту сдаюсь(((