Насколько я понимаю, вам следует копать в сторону предварительной установки параметров передачи данных вроде baud rate и контроля чётности. Если они установлены некорректно, то вы будете получать мусор вместо данных. Вроде как это умеет утилита setserial.