Если шум пропадает при касании металлическими частями устройства и ПК, то вероятно у тебя проблема с соединением, например в кабеле нет заземления/экранирования или оно не подключено к корпусу разъёма, или в самом устройстве нет соединения между корпусом разъёма и корпусом устройства или выходом устройства.
Нужны подробности, что за устройство, как подключено (кабелем или по типу флешки напрямую в разъём) как организовано питание устройства, отдельное или от usb порта.
Может быть достаточно будет купить хороший кабель с экранированием.