Как интерпретировать высокую точность при огромном значении потерь?
Я обучаю нейронную сеть на некотором наборе данных, практически на старте обучения она достигает 80 процентов точности, но меня волнует loss, который равен то 60, то 30, то 1000, то ещё больше. Точность на обучающем и валидационном наборах падают вместе с падением loss. Сеть полносвязная, лосс - бинарная классификация, метрики - бинарная точность.
Набор данных не подготовлен, имеет дополнительные векторы которые вы отбрасываете в дальнейшем. Нейросеть интерпретирует шум за данные.
Грубо говоря если вы обучали нейросеть распознавать кошку на картинках где на заднем фоне были медведи, то нейросеть ждет что на заднем фоне будут медведи, когда ищет кошку.
Простой
