Смотрим data-атрибут кликнутого элемента, находим все элементы с таким же значением:
document.addEventListener('click', e => {
const number = e.target.closest('[data-number]')?.dataset.number;
if (number) {
document.querySelectorAll(`[data-number="${number}"]`).forEach(n => n.remove());
}
});
Или, есть вариант обойтись и без data-атрибута - определяем индекс кликнутого, обходим списки, дёргаем вложенные элементы с таким же индексом:
const lists = document.querySelectorAll('.list');
lists.forEach(n => n.addEventListener('click', onClick));
function onClick(e) {
const i = Array.prototype.indexOf.call(this.children, e.target.closest('li'));
if (i !== -1) {
lists.forEach(n => n.removeChild(n.children[i]));
}
}