Каким образом можно дообучить модель, добавив новые символы?

Question

[maryaTurova]

Обучил модель по определению символов.

Сам код

import cv2
import pickle
import os.path
import numpy as np
from imutils import paths
from sklearn.preprocessing import LabelBinarizer
from sklearn.model_selection import train_test_split
from keras.models import Sequential
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.layers.core import Flatten, Dense
import tensorflow as tf

gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        tf.config.set_logical_device_configuration(
            gpus[0],
            [tf.config.LogicalDeviceConfiguration(memory_limit=5120)])
    except RuntimeError as e:
        print(e)

LETTER_IMAGES_FOLDER = "images"
MODEL_FILENAME = "model.hdf5"
MODEL_LABELS_FILENAME = "labels.dat"

WIGHT_SHAPE = 134
HEIGH_SHAPE = 40

data = []
labels = []

def resize_to_fit(image, width, height):

    padW = int((width - image.shape[1]) / 2.0)
    padH = int((height - image.shape[0]) / 2.0)
    image = cv2.copyMakeBorder(image, padH, padH, padW, padW,
        cv2.BORDER_REPLICATE)
    image = cv2.resize(image, (width, height))

    return image

for image_file in paths.list_images(LETTER_IMAGES_FOLDER):
    image = cv2.imread(image_file)
    image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    image = resize_to_fit(image, WIGHT_SHAPE, HEIGH_SHAPE)
    image = np.expand_dims(image, axis=2)
    label = image_file.split(os.path.sep)[-2]
    data.append(image)
    labels.append(label)
    
data = np.array(data, dtype="float") / 255.0
labels = np.array(labels)

(X_train, X_test, Y_train, Y_test) = train_test_split(data, labels, test_size=0.25, random_state=0)

lb = LabelBinarizer().fit(Y_train)
Y_train = lb.transform(Y_train)
Y_test = lb.transform(Y_test)

with open(MODEL_LABELS_FILENAME, "wb") as f:
    pickle.dump(lb, f)

early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', mode='min', patience=5, verbose=1, restore_best_weights = True)
model_checkpoint = tf.keras.callbacks.ModelCheckpoint(MODEL_FILENAME, monitor='val_accuracy', mode='max', verbose=1, save_best_only=True)

model = Sequential()

model.add(Conv2D(20, (5, 5), padding="same", input_shape=(HEIGH_SHAPE, WIGHT_SHAPE, 1), activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
model.add(Conv2D(50, (5, 5), padding="same", activation="relu"))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
model.add(Flatten())
model.add(Dense(500, activation="relu"))
model.add(Dense(313, activation="softmax"))
model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"])

model.fit(X_train, Y_train, validation_data=(X_test, Y_test), batch_size=32, epochs=20, verbose=1, callbacks=[early_stopping, model_checkpoint])

Появилась необходимость добавить несколько новых символов.
Каким образом я могу это сделать? Или только обучать с нуля?
И еще один вопрос:
Каким образом можно добавить данные в уже имеющийся labels.dat?
В голову приходит такой вариант:

lb = LabelBinarizer().fit(Y_train)
with open(MODEL_LABELS_FILENAME, "а") as f:
    pickle.dump(lb, f)

Просто дело в том что когда много картинок и меток - не хватает RAM. Вижу решением только добавлять данные в несколько этапов

Answer 1

[freeExec]

Нет никакой технической разницы обучаете вы модель с нуля или дообучаете. Собственно после первой итерации идёт дообучение :)

Answer 2

[GrKon]

когда не хватает памяти - уменьшайте размер batch. При обучении весь набор данных скажем 100000 делится на пачки например по 500 получаем 200 пачек (batch) по 500 примеров. Обработка всего набора (в нашем случае 200 пачек) - это эпоха. Пачка обрабатывается за раз чем она меньше тем менше памяти.

Comments

[maryaTurova]

Я заметил такую закономерность. При малом batch процент верного распознавания меньше.

[GrKon]

Это совсем не исключено - при уменьшении batch веса обновляются чаще и оптимизация идет по другому пути. Впрочем как и при изменении других гиперпараметров, вплоть до стартового слч. Например крайний случай- ваша сеть сходится на 99.9% при определенном seed но сваливается до 60% на других seed - вряд ли вашу архитектуру можно считать удачной - от изменения гиперпараметров местоположение глобального минимума в гиперпространстве не меняется, меняется только траектория обучения.

[GrKon]

По поводу добавления данных: Если добавить чут-чуть новых данных и прогнать пару эпох на увеличенном датасете (дообучить) - скорее всего сетка это съест достаточно правильно (в какой то мере этот эксперимент свидетельствует об устойчивости сети). Т.к. "новые" данные будут давать относительно большую ошибку и как следствие градиент. Если сеть чрезмерно чувствительна на новые данные - можно попробовать морозить первые слои.

[GrKon]

Согласен с freeExec позднее добавление новых данных при отсутствии batsh не решает проблему памяти. Использование для дообучения ТОЛЬКО новых-дополнительных данных - крайне сомнительная затея - порвет любую сетку!