Хотя логика подсказывает что должно. Parent содержит объект со ссылкой на самого себя. Мы его удалили... Или все таки memory leak есть но я не верно проверяю?
JS язык со сборкой муссора. Когда неспользуемые объекты удаляются, удаляется весь граф. Наличие циклических ссылок не приводит к memory leaks. Что бы от возник должен быть именно путь от одного из roots к объекту.