Пробовал поставить и настроить openbox в качестве менеджера окон, но запарился с конфигами.
Проще оказалось не использовать зависящий от менеджеров окон метод fullscreen():
self.fullscreen()
А получить текущую ширину и высоту дисплея у Gdk.Screen и задать с помощью метода resize():
self.resize(Gdk.Screen.width(), Gdk.Screen.height())
Результат: