Вы правы в началае скорость высокая потому что все падает в буфер которы находится в оперативной памяти, потом скорость падает, скорость записи на флешку очень зависит от размера блока, вы можете с помощью утилиты dd произвести тесты записи на вашу флешку:
dd if=/dev/zero of=/dev/sdХ bs=$BLOCK_SIZE count=100000 conv=fsync
в переменную BLOCK_SIZE подставляйте 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
после каждого теста сбрасывайте куши командой echo 3 > /proc/sys/vm/drop_caches
получив размер блока с хорошей скоростью записи можете отформатирывать флешку в ext4 указав этот размер блока например mkfs.ext4 -b 4096 /dev/sdb