Как сформировать правильный алгоритм стохастического градиентного спуска?

Question

[Егор Михеев]

Здравствуйте, не получается реализовать выполнение алгоритма шага для стохастического градиентного спуска.

Вот модель которой пользовался:

Вот алгоритм шага:

def stochastic_gradient_step(X, y, w, train_ind, eta=0.01):
    r = []
    X_train = X[train_ind]
   
    r.append(w[0] - 0.5 * eta * X_train[0] * (w[0] * X_train[0] + w[1] * X_train[1] + w[2] * X_train[2] + w[3]* X_train[3] - y[train_ind]))
    r.append(w[1] - 0.5 * eta * X_train[1] * (w[0] * X_train[0] + w[1] * X_train[1] + w[2] * X_train[2] + w[3]* X_train[3] - y[train_ind]))
    r.append(w[2] - 0.5 * eta * X_train[2] * (w[0] * X_train[0] + w[1] * X_train[1] + w[2] * X_train[2] + w[3]* X_train[3] - y[train_ind]))
    r.append(w[3] - 0.5 * eta * X_train[3] * (w[0] * X_train[0] + w[1] * X_train[1] + w[2] * X_train[2] + w[3]* X_train[3] - y[train_ind]))
    return r

Подозреваю что формула составлена не верно.

Comments

[ilejn]

Не совсем ясно, почему умножаете на 0.5 * eta, там же l в знаменателе.

[Егор Михеев]

А это было неправильное решение

Answer 1

[t_ray]

Можно, например, так:
def stochastic_gradient_step(X, y, w, train_ind, eta=0.01):
l=len(y)
return w+(2*eta*X[train_ind]/l)*(y[train_ind]-sum((xi*wi) for xi,wi in zip(X[train_ind],w)))

Если я правильно понимаю, какую именно задачу вы решаете :)
Но у меня похожая проблема - градиентный спуск работает, полученный вектор весов - "похож на правду", функция среднеквадратичной ошибки реализована верно. Но ответ - не подходит!

Comments

[Егор Михеев]

Может по электропочте спишемся? скетчами обменяемся?

[Егор Михеев]

Я думал, что l это количество элементов w а не длина массива

[Егор Михеев]

Потом еще в самой функции градиентного спуска стоит ли как то вводить изменение параметра векторного расстояния, которое инициализируется выше, потому что я подозреваю что перебор идет по количеству итераций и первое условие не срабатывает?

[t_ray]

матрунич сергей: Я так понял, что само значение "эта" каждый шаг менять не нужно. в лекциях было про n/k , но там говорилось, что k нужно мудро подобрать - а как именно его подбирать, непонятно. А вот если не менять значение минимального евклидового расстояния между соседними векторами со значения по умолчанию - 1e-8, то на какой-то итерации оно становится меньше этого минимума, и все 1e5 итераций не отрабатывают, алгоритм обрывается на 66000 итераций примерно. Я ставил что-нибудь типа мин.расстояния в 1e-24, вот тогда отрабатывает ровно 10000 итераций.

[t_ray]

матрунич сергей: да, пожалуй - сейчас напишу.

Answer 2

[Wedoslaw]

Там опечатка в задании, если в задании ничего не исправлять то применять нужно другую формулу:

Comments

[blackchekist]

ваша перестановка со знаком минус аналогична начальной формуле

Answer 3

[blackchekist]

у топикстартера нет деления на l (в вашем случае на 4). Без этого градиент неправильно вычисляется, соответственно спуска не будет.

Answer 4

[PavelBortnikov]

матрунич сергей Тоже столкнулся с этой задачей. Можете поделиться в чем была проблема? Уже все перепроверил...

Comments

[Егор Михеев]

А на форуме уже не накопилось критической массы ответов? Там первая проблема была даже не в формуле а в вычислении mean. Можно с помощью np а можно штатными средствами, не помню какой правильно применять.

[Егор Михеев]

Это одно из критических заданий всего курса, так что ответ я Вам дать не могу, попробуйте с одногрупниками списаться и на форуме.