Самый простой в реализации способ — первый, самый дружелюбный к пользователю — последний.
Только последний способ делать надо так:
а) «дизаблим» удаляемую запись (чтобы несколько раз не нажали)
б) отправляем AJAX запрос на сервер
в) получаем ответ сервера
г) анализируем ответ сервера
д) удаляем удаленную на сервере запись со страницы