Я скрывал навбар через переменную
navigationBarHidden = true
Решение оказалось в использовании метода setNavigationBarHidden(true, animated: false). Видимо внутри метода делаются какие то дополнительные манипуляции отличные от сеттера navigationBarHidden. Меджик!
navigationController?.setNavigationBarHidden(true, animated: false)
navigationController?.interactivePopGestureRecognizer!.delegate = self