Как заставить нейронку на Python подгонять коэффициенты уравнений?

Question

[Вадим]

Здравствуйте.
При помощи каких функций в SciPy/NumPy можно реализовать подгонку коэффициентов уравнения?

Пример:
У нас есть уравнение 3x^2 + 5x + 10 = 0.
Где a=3, b=5, c=10.
Как заставить нейронку на python подобрать эти коофиценты самостоятельно? Например, из сравнения исходного графика с известными коэффициентами и графика со случайно сгенерированными.

Answer 1

[Wataru]

Тут не нейронка нужна, а регрессия. Ну или тупо система линейных уравнений.

Comments

[Вадим]

Всё несколько сложнее.
У меня есть массив экспериментальных данных из 900 длин вол. Каждой длине волны соответствует коэффициент пропускания образца.

Этот экспериментальный спектр можно с какой-то точность описать теоретической кривой, которая является функцией 6 переменных.

Я немного облегчил задачу. Ибо если знать, как такое провернуть для нескольких переменных, можно написать решение и для моей задачи.

[Wataru]

Вадим, У вас в точности задача регрессии. Гуглите "scipy regression" и найдете кучу примеров, в том числе не линейной регрессии. Дальше вам надо подготовить данные 6 переменных-> наблюдаемое значение.

В упрощенной модели вашего вопроса, эти данные - набор {1, x, x^2, x^3, ...} -> y. Если точки графика скормить линейной регрессии, она найдет вам коэффициенты перед 1, x, x^2... Как раз нужные вам коэффициенты полинома.

[Andy_U]

Wataru, Какой полином? К бабке не ходи - там зависимость коэффициента пропускания от частоты, это какая-нибудь суперпозиция типа гауссовских пиков. Ага - двух (амплитуда, положение и ширина).

[Andy_U]

Вадим, Функцию покажите, пожалуйста.

[Вадим]

Andy_U,

Синий график.

X - длина волны.
Y - коэффициент пропускания.

[Andy_U]

Вадим, Ok. Я думал, что-нибудь резонансное, но тоже красиво. Хотя я спрашивал, чем вы ее собираетесь апроксимировать.

[Вадим]

Andy_U, есть уже миллион лет назад написанная работа по Оптическим свойствам материалов, которая помогает получить этот график зная коэффициент преломления и поглощения.
Они, в свою очередь, могут быть получены из приближения Коши.

Для точности, которая устраивает меня, это по 3-4 члена на коэффициент.

[Вадим]

Andy_U, если стало интересно, можно глянуть статью "Determination of the thickness and optical constants of amorphous silicon" автор R.Swanepoel.
Найти её не так сложно)

[Andy_U]

Вадим, Я оптику плохо знаю. Меня интересовало лишь, аппроксимирующая функция линейная по всем 6 неизвестным коэффициентам, или нет?

[Вадим]

Andy_U, функций 2 и обе нелинейные.

[Andy_U]

Вадим, Спасибо, тогда в методы линейной регрессии для решения данной конкретной задачи не углубляйтесь, хотя так-то полезно.

Answer 2

[Andy_U]

Рекомендую scipy.optimize.least_squares(). Нелинейную регрессию умеет.

Answer 3

[dmshar]

Господи, опять велосипед....
Ну поставили вы в теге "машинное обучение". Значит понимаете, что начинается все не с нейронных сетей, а со статистики. Там ваша задача, которая называется задачей регрессии, 120 лет как решается элементарно.
В sklearn есть функция LinearRegression.
В numpy есть модуль numpy.linalg.linalg, в котором есть нужные реализации

Не хотите готовую функцию - пишите свою, материала в сети тоже навалом:
https://towardsdatascience.com/linear-regression-f...
https://machinelearningmastery.com/implement-simpl...

Причем тут "случайно сгенерированный график" - вообще не понятно. Да и как вы собрались графики сравнивать, если график это рисунок. А сравнивать можно данные. И не надо сразу браться за нелинейные функции, начните с простейших, с линейных, потом - доберетесь и до квадратичных и до нескольких переменных. В общем - рекомендую потратить время и разобраться с азов, что-бы потом не выглядеть вот так:

Comments

[Andy_U]

Судя по описанию задачи (в комментариях), я сомневаюсь, что задача учебная.

[dmshar]

Andy_U, Ну так тем более, к ее решению надо подходить серьезно, а не по дилетантски.

[Andy_U]

dmshar, Вот именно. Почему вы все решили, что тут требуется линейная регрессия? Ладно, спрошу автора вопроса.

[dmshar]

Andy_U, Тут возможно требуется и нелинейная регрессия. Но что-бы понять, что это такое вообще (судя по вопросу, автор в этом не разбирается), неплохо бы начать с линейной. (Я выше об этом и написал, кстати). Кроме того, квадратичная регрессия даже в учебниках излагается через линейную. А вот нейросеть тут - точно в порядке использования должна стоять на очень не первом месте.

[Andy_U]

dmshar,

Но что-бы понять, что это такое вообще (судя по вопросу, автор в этом не разбирается), неплохо бы начать с линейной.

Когда регрессия линейная - достаточно уметь матрицы обращать (хотя я предпочитаю SVD), а когда нелинейная - тут уже всегда только численная минимизация. Совсем разные подходы. Ну а насчет "не разбирается", так он возможно подумал, что это мы тут ничего кроме МЛ не знаем ;)

[dmshar]

Andy_U, а когда нелинейная - тут уже всегда только численная минимизация. - не всегда. Вот как раз для квадратичной, логарифмической и пару еще известных методов - оказывается вполне достаточно линейного подхода. О чем и написано в соответствующих учебниках.
P.S. А вот в "Оптическим свойствам материалов, которая помогает получить этот график зная коэффициент преломления и поглощения." - тут я лично точно не разбираюсь от слова совсем.

[Andy_U]

dmshar,

для квадратичной, логарифмической и пару еще известных методов - оказывается вполне достаточно линейного подхода. О чем и написано в соответствующих учебниках.

Чем разбираться и все равно писать код, проще для scipy.optimize.least_squares() написать функцию, которая получает на вход неизвестные параметры аппроксимирующей функции, а отдает массив residuals для каждой экспериментальной точки.