1) Как связать мой mainwindow.cpp и dialogsettingscom.cpp.
Сигналами, самый очевидный вариант. Погуглите примеры модальных окон в Qt. (настройки, по логике, модальное окно)
2) И где правильнее производить соединение при нажатий "Cоединиться" в dialogsettings.cpp или ловить сигнал нажатия "Соединиться" и производить соединение с ком портом в mainwindow.cpp.
Каждому объекту своя задача.
В идеале гуевые классы (виджеты) вообще не должны содержать бизнес логики. Вынесите все действия в отдельный (отдельные классы). Виджеты должны использоваться только как форма для ввода и отображения данных... ну и для управления.