Denis Kharchenko

Вы добавляете функцию click на элемент но внутри есть еще один который при нажатии на кнопку также вызывает вашу функцию. Так как вы подписали на все элементы внутри.

замените элемент и будет чудо

Можно попробовать так:

var flag = 0;
  $(".visible").mousedown(function(){
    flag = 1;
  });
  $(".visible").mouseup(function(){
    flag = 0;
  });
  
  setInterval(function(){
    if(flag == 1) {
      console.log("+")
    } else {
      
    }
  },100);

Вот тут есть подробнее о событиях мыши.

Вам нужно:
mousedown - Кнопка мыши нажата над элементом.
mouseup - Кнопка мыши отпущена над элементом.