Потому что в большинстве случаев вы кликаете по <label>. Label имеет специальную функциональность - он переносит событие на связанный инпут и выглядит это так как будто вы кликнули на лэйбл а потом сразу на инпут.
ExactlyDude, почитайте про всптытие событий. Когда вы кликаете по label собыитие всплывает вверх и ваш див его ловит. Потом еще один клик по инпуту всптывает так же вверх и див снова его ловит