lamazavr

Вам нужно читать ответ с таймаутом.
Что-то вроде:

serial->write(msg, len);
if (serial->waitForReadyRead(timeout_ms))
{
    serial->read(buffer, 1);
    ....
} else //timeout error

зы а зачем пишете? есть же libmodbus

В ASCII режиме для подсчета контрольной суммы используется алгоритм LRC. Причем контрольная сумма проводится над всеми байтами кадра, кроме стартовой и стоповой последовательности символов.
Тут есть описание и пример на С
atic.ru/index.php?option=com_rokdownloads&view=fil...
ps правда он какойто потрепаный