Sergey Sidorov

В вашем случае условие в if всегда возвращает true (поместите $('.backtotop:not(:checked)') в console.log take.ms/5SjVU)
Предлагаю сделать иначе: https://jsfiddle.net/serjazz/93ov6th7/ в этом случае все отрабатывает верно.