Вызывай $allComments = $connection->query("SELECT * FROM comments ORDER BY comment DESC"); после секции if ($_GET['del']) {...}, а не до.
А то получается, что ты сначала достаешь из таблицы то, что там есть, записываешь в переменную, а потом удаляешь. В переменной $allComments у тебя удаленная запись остается как бы, потому что удаление происходит после ее инициализации выборкой из таблицы.
Ну а вообще я тебе не советую сырые данные подставлять напрямую в запросы к базе. Это уязвимость - sql-инъекции. См.
доку - там примеры есть, как надо.
P.s. данные для подключения к базе тоже не надо хардкодить в скрипте - выноси в конфиг, который пропиши в .gitignore-файле, чтобы он в систему контроля версий не попал. Можно такие секьюрные данные хранить в env-файлах - тебе в этом поможет
вот эта библиотека.
P.p.s. старайся не смешивать логику и представление. Посмотри, как это реализовано в известных фреймворках. А то у тебя view (представление) смешано с взаимодействием с БД, что как бы такое себе в плане качества кода.
