Сам нашел ответ
Оказывается в gtk4 это немного поменяли
Теперь нужно виджетам самостоятельно указать hexpand/vexpand
В моем случае получилось через обычный горизонтальный GtkBox, а виджету справа поставил hexpand в TRUE и всё заработало так, как нужно