Всем спасибо)
Нашёл ответ сам, но хочу поделится с теми кто столкнется с чем-то таким же.
Просто напросто нужно было при каждом нажатии на ссылку, то есть на миниатюру изображения сделать повторную проверку элементов. Выглядит это так:
$links.click(function (event) {
event.preventDefault();
$div = $('.four__galeria').find( " > .portfolio" ).find(" > .active");
divIndex = $(this).parent().index();
targetImg = $(this).attr('href');
replaceImg(targetImg);
$lightbox.fadeIn();
});
Понимаю что для кого-то это выглядело просто, но я писал же что еще в этом всем чайник.