Почитайте вот это:
https://help.ubuntu.com/community/btrfs
Конфигурация по-умолчанию предполагает создание подтома (subvolume)
@ для корня.
То есть монтировать вам нужно не просто /dev/sda1, а подтом, к примеру, так:
sudo mount -o subvol=/@ /dev/sda1 /mnt
Вот ещё статья по установке GRUB:
https://help.ubuntu.com/community/Grub2/Installing
Там есть пример для BTRFS:
sudo grub-install --boot-directory=/mnt/@/boot /dev/sda
То есть у вас получится либо так:
sudo mount -o subvol=/@ /dev/sda1 /mnt
sudo grub-install --boot-directory=/mnt/boot /dev/sda
либо так:
sudo mount /dev/sda1 /mnt
sudo grub-install --boot-directory=/mnt/@/boot /dev/sda