Влад

Изменил в Вашем коде всего одну строчку с кликом на ссылку и все работает

$( document ).ready(function() {
// кнопка button добавляет новую ссылку по шаблону
	$('button').click(function(){
	$('ul').append('<li><a class="clk" href="#">ссылка</a></li>');
	});

	$('body').on('click', 'a',function(){ // Было  $('a').click(function(){
  
    var col = $("ul").children("li").length;
    
    $('span').html(col);// выводит кол-во li элеменотов
    
    if(col>0){  
    $(this).parent().remove(); } // пока есть ссылки, удаляем
    
    else {
    $('.links').html("Закончились"); } // когда нет ссылок..
    
    return false;
	});
  
});