С помощью каких формул вычисляются коэффициенты многомерной линейной регрессии методом стохастического градиентного спуска?

Question

[fjaerj12]

Я собираюсь вычислить коэффициенты многомерной линейной регрессии несколькими способами, мне нужен стохастический градиентный спуск. Насколько я понимаю, там должна использоваться матричная форма.

Comments

[Армянское Радио]

Вариант, что вы просто вызываете Adam из Tensorflow и получаете результат, вас не устраивает?

[fjaerj12]

Армянское Радио, нет, мне нужно самостоятельно это запрограммировать.

Answer 1

[dmshar]

Я понимаю, готовыми реализациями вам запрещено пользоваться. А что Google - тоже под запретом? Или его вам заблокировали?
Придется вам помочь
https://russianblogs.com/article/6278961862/
https://habr.com/ru/post/467185/
https://pythobyte.com/gradient-descent-in-python-i...
Пока надеюсь хватит, а там и запрет снимут.

Comments

[fjaerj12]

3 бесполезных ссылки, в которых нет объяснения про формулы стохастического градиентного спуска, а где-то и про него ни слова, спасибо.

[dmshar]

fjaerj12,
Что-то мне кажется, что это ваши слова: "мне нужно самостоятельно это запрограммировать." Я не ошибаюсь? Я вам привел ссылки, одна из которых так и называется "Реализация метода стохастического градиентного спуска на Python" А во второй прямо на первой строке, под заголовком написано "В этом уроке мы рассмотрим теорию о том, как работает градиентный спуск и как его реализовать в Python.Затем мы реализуем пакетный и стохастический градиентный спуск, чтобы минимизировать среднеквадратичные функции ошибок." Да, статьи не короткие, и не совсем легкое чтиво, но вы же не ожидали, что эти формулы будут выглядеть как краткая шпаргалка для школьника? (Впрочем, статьи оказываются и не очень-то сложными, если внимательно их прочитать)

Теперь оказывается, что вам они не нужны, а нужны ТОЛЬКО формулы, по которым эта реализация выполнена. Ну ладно, это еще проще:
https://ru.wikipedia.org/wiki/Стохастический_гради...
http://www.machinelearning.ru/wiki/index.php?title...
https://habr.com/ru/post/308604/

Если и это вам не подойдет, тогда это все будет выглядеть более чем странно. Останется вам порекомендовать только взять соответствующий университетский учебник и прочитать все там. Вы же не надеялись, что тут вам прочитают лекцию в кратком изложении.