Cохраняйте кликнутую ссылку. Если кликают впервые, её ещё нет среди сохранённых:
var used=[];
function checkIt(e){
if( !~used.indexOf( this)) used.push( this), e.preventDefault();
}
$('.notsofast').on('click',checkIt);
Fiddle
ТС уточнил, что при клике по другим ссылкам, нужно «обнулять» посчитанные ранее. Тогда проще – надо запоминать только один элемент, кликнутый ранее:
var used;
$(".categoriesPage .categoryBox .textBox").on("click", function(){
if( used !== this) used = this, e.preventDefault();
}