Этот код в данном случае не имеет смысла и его нужно удалить:
notifyItemRangeChanged(positionForDelete,myArrayElement.size)
Что ещё следует изменить:
- Сделать ViewModel полем класса активити;
- Не передавать ViewModel в адаптер. Адаптер вообще не должен знать о модели;
- Передавать список в адаптер не через конструктор, а через отдельный метод.
Как обрабатывать клик:
При клике по холдеру ничего не удалять из списка адаптера, а сообщать в активити через колбэк о том, что был клик по элементу, а из активити сообщать об этом клике во ViewModel через вызов метода. Далее ViewModel должна решать, что делать - в вашем случае удалить элемент и передать новый список в активити, которая передаст его в адаптер.