Как повысить точность модели?

Question

[BitNeBolt]

Пытаюсь реализовать модель линейной регрессии на keras. Для этого я использую один входной нейрон и нейрон смещения(хотя в обучающей выборке отсутствует смещение), сигдоидную функцию для активации. Но результаты меня не очень радуют. Как можно увеличить точность? Правильно ли я нормализую входные данные?

import matplotlib.pyplot as plt
from keras.models import Sequential
from keras.layers import *
import numpy as np

#hyperparameters
epochs = 60
epo = np.arange(0, epochs, 1)

n_samples = 40

train_x = np.linspace(0, 20, n_samples) #входы
train_y = -2 * np.linspace(0, 20, n_samples) #+ 4 * np.random.rand(n_samples) #правильные ответы

x = train_x.reshape(-1, 1)
y = train_y.reshape(-1, 1)

leng = 10 ** len(str(int(max(y)))) #для нормализации

x = x / leng
y = y / leng

model = Sequential()
model.add(Dense(units = 1, input_shape = (1, )))
model.add(Activation('sigmoid'))

model.compile(loss='mean_squared_error',
              optimizer='sgd',
              metrics=['mse', 'acc'])
history = model.fit(x = x, y = y, batch_size = 1, epochs = epochs)

test_x = np.linspace(0, 20, n_samples)
w, b = model.get_weights()

plt.subplot(211)
plt.scatter(train_x, train_y)
plt.plot(train_x, train_x * w[0] + b)
plt.title('result')

print(history.history['acc'])

plt.subplot(212)
plt.plot(history.history['loss'], epo)
plt.title('loss')

plt.show()

График предсказанной прямой на фоне выборке изображен наверху, а график потери внизу.


P.S. в Keras-е я новичок.

Comments

[Роман Воронов]

Сложно оценить корректность нормализации, когда отсутствуют исходные данные. Рекомендую приложить ссылку, например, на Kaggle Kernel.

[BitNeBolt]

Наборы данных - это два массива, созданных с помощью функции np.linspace(), содержащие по 40 элементов.
x - входы
y - правильные ответы

Answer 1

[Арсений Кравченко]

Ваш train_y лежит в [-40, 0], а Activation('sigmoid') приводит все значения к [0, 1]. Уберите активацию, должно будет сойтись.

Comments

[BitNeBolt]

Я нормализую данные способом, описанным asd111 и, убрав активацию, я получил примено такой же результат(но хуже).

А так как сигмоида возвращает значения [0, 1](а y_train в диапазоне [-1, 0] после нормализации), то я выбрал гиперболический тангенс, но с ним результаты такие же...

[Арсений Кравченко]

Для линейной регрессии не нужна активация. А в вашем случае и нормализация необязательна.

[BitNeBolt]

Дерду в курсе.
Вот результаты с активацией "у = х" и без нормализации. Модель не обучается

[Арсений Кравченко]

Перепроверил, действительно не сошлось без нормализации, но это из-за высокого learning rate по умолчанию.
Например, такой код в итоге сходится:

from keras.models import Sequential
from keras.layers import *
import numpy as np
from keras import optimizers

#hyperparameters
epochs = 200
epo = np.arange(0, epochs, 1)

n_samples = 40

train_x = np.linspace(0, 20, n_samples) 
train_y = -2 * np.linspace(0, 20, n_samples) + 3

x = train_x.reshape(-1, 1) #/ 10**3
y = train_y.reshape(-1, 1) #/ 10**3

model = Sequential()
model.add(Dense(units = 1, input_shape = (1, )))
model.add(Activation('linear'))

model.compile(loss='mean_squared_error',
              optimizer=optimizers.SGD(lr=0.001),
              metrics=['mse', 'acc'])
history = model.fit(x = x, y = y, batch_size = 1, epochs = epochs)

test_x = np.linspace(0, 20, n_samples)
w, b = model.get_weights()

[BitNeBolt]

Спасибо, помогло!

Answer 2

[asd111]

Нормализацию легче делать через sklearn.

from sklearn.preprocessing import StandardScaler

sc = StandardScaler()
x = sc.fit_transform(x)
y = sc.fit_transform(y)

Comments

[BitNeBolt]

К сожалению, результаты оказались точно такими же.