Перенесите скрипт обработчика из подгружаемых ajax'ом фрагментов в страницу, чтобы присутствовал лишь раз.
* * *
Вообще, если не вешать каждый раз новую анонимную функцию, а вынести обработчик во внешнюю функцию, и отказаться от jQuery, то обработчик сработает лишь однажды:
const handler = () => {
console.log('click');
}
document.addEventListener('click', handler);
document.addEventListener('click', handler);
document.addEventListener('click', handler);
// при клике выведет только 1 сообщение в консоль
Но у jQuery иная механика:
$(document).on('click', handler);
$(document).on('click', handler);
$(document).on('click', handler);
// при клике вывалится 3 сообщения