LogLoss тут не очень хорош тем, что ваша модель выдаёт бинарные ответы, а не вероятности наступления события. Посмотрите в сторону ROC-AUC. В отличие от LogLoss, она всегда лежит в отрезке [0.5;1]. Значение 0.5 эквивалентно подбрасыванию монетки.
UPD. Напутал. События - бинарные, а модель даёт вероятности