Господа, я два дня сам не мог найти решение, перепробовал кучу разных драйверов, ничего не помогло. Потом я где-то увидел, что разрабы драйвера советовали удалить так назваемый brltty, это программа для слепых, предустановленная в Ubuntu.
sudo apt remove brltty
Я просто удалил её, и всё заработало, но стоит учесть что до этого уже был установлен драйвер, прошу не задавать мне вопросы если что-то не сработает, я вего-лишь новичок в линуксе, и нашёл это методом тыка, всем спасибо за внимание!