Добрый!
Во-первых, хотелось бы спросить сразу у всех, чего вы все цепляетесь за такие мелочи как 404? Если вы сами убили страницу, зачем о ней переживать? Ну, нет её и нет, пусть Search Console хоть могильный крестик у себя рисует...
Во-вторых, HTTP-код 404 вовсе не означает, что страницы больше нет. 404 означает "Не найдено". Сегодня "не шмогла", в завтра "шмогла". Алгоритм некоторое время как бы защищает страницу от окончательного удаления из свой БД. Вот бот время от времени и тестит, вдруг страница неожиданно будет найдена. Поэтому его поведение и отображение ошибки вполне обоснованно.
А если есть желание навсегда распрощаться со страницей, отвечайте боту сразу 410 Gone.
