Да, если интересуетесь математикой, начните с линейной алгебры, с векторов и матриц. Например, вот по этому учебнику или этому. И обзательно решайте задачи, потому как теория без практики не усвоится.
Если у вас в решении 2 исполняемых файла, то не выйдет просто так взять и вызвать функцию. Необходимо, чтобы одни из проектов был испоняемым (exe), а второй линковался к первому как dll или lib.
Все что угодно может быть. Запустите под отладчиком и посмотрите где падает. Если нет возможности запустить под отладчиком, сделайте дамп памяти процесса и смотрите, где там падает. У меня подозрение, что падает где-то во внутренностях Qt.
Не понятно как прибор предает данные через сим карту( по какому пртоколу), а так берете любую scada с поддержкой нужного драйвера (modbus tcp, modbus rtu) и читаете данные, например MasterScada.
Вообще, при таком количестве данных, как уже говорили выше, надо использовать виртулизацию. Гуглите запрос wpf virtual grid.
Вот, к примеру, реализация на codeproject https://www.codeproject.com/Articles/775352/WPF-Vi...