Как посчитать метрику предсказательной функции дифференцируемыми методами?

Question

[samokiller]

Есть 2 вектора:

В первом вероятности бинарного события в диапазоне (0, 1)
Во втором фактический бинарный результат.

Вероятность p <=0,5 значит что событие не случится.

Для оценки эффективности прогнозирования считаем метрики детекций:
1) Ложно-положительных: p > 0,5, но событие не случилось
2) Верно-положительных: p > 0,5, и событие случилось
3) Ложно-негативных: p <= 0,5, но событие случилось

Возможно ли посчитать эти метрики так, чтобы функция вычисления была дифференцируема?

Comments

[shurshur]

Вероятность p <=0,5 значит что событие не случится.

Почему?

[samokiller]

shurshur, это вводное. При обучении нейросеть подстроится под этот параметр.

Answer 1

[Griboks]

В первом вероятности бинарного события в диапазоне (0, 1)

Случайное событие всегда бинарно, иначе оно называется случайная величина.
Вероятность всегда задаётся от 0 до 1.

Вероятность p <=0,5 значит что событие не случится.

Какая-то ерунда. Вероятность не может обозначать факт.

Для оценки эффективности прогнозирования считаем метрики детекций:

Это не метрики, а условия. Сами метрики, я полагаю, - это количество случаев, которые удовлетворяют это условие.

Тогда можно подумать насчёт масштабирования векторов следующим образом:
- вероятности заменятся на +1, когда p>=0.5, иначе на -1;
- бинарный результат заменяется на -1, когда 0.

Тогда попарное перемножение элементов векторов даёт +1 в случае правильно предсказания и -1 - неправильного. Затем можно масштабировать (+1→+1, -1→0) и сложить - получится количество верных предсказаний в виде дифференцируемой функции (кроме 0).

Comments

[Griboks]

Также можно масштабировать p<0.5 (или >) к 0, чтобы получить только ошибки первого/второго рода.

[samokiller]

Какая-то ерунда. Вероятность не может обозначать факт.

Извините за мой кривой математический язык - я больше в программирование.
Я программирую нейросеть для предсказания события. В данном случае, говоря что p<=0.5 я подразумевал что это будет критерий к которому нейросеть будет подстраиваться.
Конечно же, фактически это не будет означать исполнения или неисполнения события. Но программе нужен какой то критерий для принятия решения о том произойдёт событие или нет на основе значения от 0 до 1. И этот критерий p <=0,5

Тогда можно подумать насчёт масштабирования векторов следующим образом:
- вероятности заменятся на +1, когда p>=0.5, иначе на -1;
- бинарный результат заменяется на -1, когда 0.

Спасибо, ваш ответ помог мне понять что я желаю невозможного.
Надеюсь я верно его понял.
Проблема в том что операция сравнения после масштабирования и сдвига, с т.зр. дифференцирования сводится, в итоге, ко взятию производной от операции sign(). А производная операции sign() всегда равна 0.
autograd в pytorch (язык на котором я пишу нейросеть) позволяет автоматически дифференцировать функцию в процессе обучения нейросети.
Но т.к. производная всегда будет равна 0, это означает что никакого толку от построения градиента получить невозможно.

Изначально у меня была проблема в том что операция сравнения двух величин не дифференцируема. Но обдумав ваш ответ я понял что она сводится к sign() и производной = 0.
А я надеялся что можно будет как то получить из этих двух векторов бинарный вектор, но так чтобы этого производная этого преобразования не равнялась 0.

Спасибо, ещё раз!

[Griboks]

samokiller, если вы обучаете нейросеть, то вам нужна функция потерь, а не матрица ошибок.

[samokiller]

Griboks, я как раз и пишу собственную функцию потерь.

Сейчас вот такой код:

def getMetric(pred,target):
        tp = ((pred + target) == torch.full((1, pred.size()[0]), 2)).sum()
        preMul = (pred*0.6 + target*0.4)
        return (tp - (preMul == torch.full((1, pred.size()[0]), 0.6)).sum()) / (tp + (preMul == torch.full((1, pred.size()[0]), 0.4)).sum())

Проблема в том что она не дифференцируется(
И я ищу способ как это решить в дифференцируемом виде.

[Griboks]

samokiller, у вас очень странная функция потерь, особенно учитывая сравнение с float (примерно всегда будет 0 в каждом сравнении). Однако ваша функция прекрасно дифференцируется кроме случая, когда

((pred + target) == torch.full((1, pred.size()[0]), 2)) == (tp - (preMul == torch.full((1, pred.size()[0]), 0.6)).sum()) == 0

. В таком случае предлагаю просто возвращать ближайшее число, чтобы функция была линейна в окрестности разрыва.

[samokiller]

Griboks, как понять "ближайшее число"?
Вот график производной, т.е. когда она в + бесконечность уходит, просто максимально большое число (например 9999999) возвращать?

[Griboks]

samokiller, нет, она никуда не уходит. Ваша функция определена на целых числах в трёх измерениях от 0 до (pred + target).size() и имеет два разрыва, когда знаменатель обращается в нуль. Следовательно, ваш график неправильный, а функция находится в четырёхмерном пространстве и имеет ступенчатую форму.

Строго говоря, ваша функция дискретна и имеет разрывы везде, кроме точек (0, 0, 0), (0, 0, 1), ..., (n, n, n). Поэтому вполне допустимым на мой взгляд кажется интерполировать ступеньками в точках разрыва.