Вы не можете обработать строку, так как база у вас скорее всего в utf-8 (проверьте, наберите ".show"), а значение хранится в utf-16. На чистом баше сложно это сделать.
Как костыльный вариант, выводите (.mode quote), а затем конвертируйте через xxd
sqlite3 -quote $fileIn "SELECT values FROM tables WHERE keyname='namefirst'" | xxd -r -p > $fileOut
