Update: GroupBox реализует интерфейс IAddChild, который позволяет принять единственный вложенный контрол, поэтому ConfigsBox.Children.Add(newButton); не правильно я вам написал.
Программное добавление будет:
var button = new Button();
((IAddChild)ConfigsBox).AddChild(button);