на сервер приходит строка как если открыть в hex редакторе и посмотреть на dump
Вот ее-то вы и записываете. Параметр b, естественно, работает, но никто не будет за вас превращать hex-представление обратно в байты.
Читайте свою строку по два символа, превращайте их в байт, его и записывайте в файл.
