на квери уже забыл как проще описать, вот корявый вариант думаю суть поймете
$(function () {
$('#btn2').click(function() {
// ловим все открытые
let opened_li = document.querySelectorAll('.opened');
//проверяем, если не пустой то ловим последние 3 элемента
if (opened_li.length >= 3) {
// считаем от конца
for (let i = (opened_li.length-1); i > opened_li.length-4; i--) {
//убираем лишнее и добавляем нужное
opened_li[i].classList.remove('opened');
opened_li[i].classList.add('hidden');
}
}
if ($('li.item').hasClass('hidden')) {
$('#btn').removeClass('hidden');
}
if ($('li.item').hasClass('hidden')) {
$('#btn2').addClass('hidden');
}
});
});