Начнём с того, что это странно. Drawer предназначен для глобальной навигации и менять его содержимое в зависимости от отображаемого фрагмента...необычно.
Но выход есть - NavigationView имеет метод getMenu(). Удалить конкретный элемент из бокового меню нельзя...а вот добавлять и удалять подменю вместе со всем содержимым, никто не мешает.