Логика очень странная у Вас. Как самой задачи так и решения.
1) Зачем там чекбокс лично мне совсем не понятно. Это явно должна быть кнопка, или скорее даже просто блочный элемент.
2)$('.backtotop:not(:checked)')
Данный селектор повесит событие на не выбранный чекбокс с классом .backtotop, но дело в том что после изменения его состояния, обработчик события уже висит на нем, и точно так же срабатывает, независимо от состояния чекбокса.
Решение готовое вам не дам. Используйте div в качестве кнопки и внутри обработчика события нужно поставить условие которое не даст сработать клику после одного нажатия. Для этого нужно использовать временную переменную.
