Изменил в Вашем коде всего одну строчку с кликом на ссылку и все работает
$( document ).ready(function() {
// кнопка button добавляет новую ссылку по шаблону
$('button').click(function(){
$('ul').append('<li><a class="clk" href="#">ссылка</a></li>');
});
$('body').on('click', 'a',function(){ // Было $('a').click(function(){
var col = $("ul").children("li").length;
$('span').html(col);// выводит кол-во li элеменотов
if(col>0){
$(this).parent().remove(); } // пока есть ссылки, удаляем
else {
$('.links').html("Закончились"); } // когда нет ссылок..
return false;
});
});