Переделать архитектуру, вместо объектов хранить указатели на них.
Альтернативно, можно хранить unique_ptr на нужные объекты, а при удалении изымать из владения указатель методом release или пользуясь move-семантикой.
Третье, если это объект, написанный вами, реализуйте для него конструктор и оператор перемещения и используйте move в нужный вектор.