Малоизвестная фича jQuery — передавать в обработчики событий первым аргументом объект события.
Еще более скрытая фича событий — наличие поля target, в котором содержится элемент, на котором событие произошло.
Заюзав эту продвинутую магию, получим:
$('.comment-count').on('click', function(event) {
$(event.target).next('.zametki-comm').slideToggle(500);
});
А впрочем, можно и как
@Zewkin предложил.