Похоже решил проблему.
Когда снова прилетело обнова KB5044284, зашел в Uninstall updates, а там она уже было установлена.
Удалил её, и установил заново. Ещё на всякий случай вернул все настройки Defender'а на дефолтные, а то некоторые пункты были отключены. В Uninstall updates она была подписана как Security Update и я подумал что Defender может как-то мешать.
Теперь VMP не слетает и обнова повторно приходить перестала.