Потому что нужно без точки
$("#N").removeClass('answer-one');
$("#N").addClass('answer-one-block');
и в addClass тоже без точки.
при удалении он не находит у элемента класс ".answer-one" так как у элемента "answer-one"
при добавлении JS добавляет как есть ".answer-one"