Как работает функция потерь?

Question

[SpeNch]

Как работает функция затрат и потерь? мне нужно для логистрической регресии. Я искал в гугле но нечего не нашел. Прошу кто знает помогите и обьесните простыми сломами

ps. В моем примере я пытаюсь найти кота на изоброжении.

мне дано в моем примере ŷ(моя вероятность от 1 до 0 по формуле на которую еще применили сигмоиду ( w * x + b ) и (y) ( с тренировочного набора данных)

Comments

[Александр Скуснов]

А где формула-то?

[SpeNch]

Александр Скуснов, функция потерь - y(i)*log(ŷ(i)) +(1-y(i))*log(1-ŷ(i))

[Александр Скуснов]

В Википедии написано, что есть функция правдоподобия, для которой надо найти максимум. Чтобы избавиться от степеней, ищут максимум логарифма этой функции (в вашей формуле не хватает символа суммирования в начале).

Answer 1

[Griboks]

Функция потерь вычисляет ошибку между оценочным и истинным результатом. Идея в том, что нельзя просто так вычесть одно из другого, иногда невозможно. Поэтому и вычисляют какое-то число, характеризующее правильность результата.

Comments

[SpeNch]

ну хорошо она вычислила
ошибку. Но как работает функция затрат? функция потерь и затрат они связанны чемто между собой? И куда она єту ошибку всунула? для улучшения параметров логистрической функции?

[Griboks]

1) У нас есть x и y.
2) Мы придумываем модель с параметрами f(p,x)=ŷ.
3) Вычисляем ошибку e=f(y,ŷ).
4) Корректируем параметры p'=f(p,e).
5) Повторяем, пока e > порогового значения.

[SpeNch]

Griboks, А функция "затрат" какой пункт здесь играет роль? и пороговое значение - это ведь входное (y) с тренировочных данных?

[Griboks]

SpeNch, в статистике я не знаю какого-то отдельного определения для функции затрат, для меня это синонимы.
Пороговое значение - это любое значение ошибки, которая нас устраивает.

[dmshar]

Griboks, Поддержу. Со вчерашнего вечера сижу и думаю, что это за загадочная "функция затрат"? Думал - возможно неправильный перевод. Хотелось бы понять, откуда это понятие у ТС взялось?

[Griboks]

dmshar, думаю из экономических задач.

[dmshar]

Griboks, Скорее всего. И к нейросетям отношения не имеет от слова "совсем".

[SpeNch]

Griboks, Ладно и все же больше спасибо))!!!!