sender()
, вы же не копировали объект когда добавляли указатель в контейнер, а значит, это и есть тот же самый объект, не знаю насчет QMap, но обычно списки поддерживают удаление объекта без ключа или индекса, в специальный метод передаете указатель и список удаляет этот элемент.