Например,
так:
const active = [];
$(document).on('click', 'тут должен быть селектор ваших элементов', function() {
const
value = $(this).data('тут должно быть имя вашего data-атрибута'),
index = active.indexOf(value);
if (index === -1) {
active.push(value);
} else {
active.splice(index, 1);
}
});
Правда, не очень понятно, зачем такие сложности.
Можно при клике переключать класс, и когда возникнет необходимость в значениях атрибутов, достать их из элементов, имеющих класс:
$(document).on('click', 'селектор', function() {
$(this).toggleClass('active');
});
const active = $('.active').get().map(n => n.dataset['имя data-атрибута']);