1. "В директории /var/lib/mysql/mysql/ есть .frm .ibd файлы с соответствующими названиями таблиц"
Если это файлы не с нулевым размером - значит это формат таблиц InnoDB и должна быть включена опция innodb_file_per_table.
Системная база mysql по умолчанию не использует InnoDB, а использует MyISAM и вероятно, кто-то отконвертировал их в InnoDB и возможно еще полазил по настройкам в my.cnf
Правильный подход - сделать бекап всего, а затем или переустановить mysql полностью и он создаст БД mysql заново, либо перенести базу или таблицы с другого хоста или даже из виртуальной машины с такой же Ubuntu