В комментарии правильно написано, что результат может зависит от типа архитектуры клиента/сервера, а конкретно от
порядка байт
Проверить порядок байт можно с помощью
BitConverter.IsLittleEndian
Что касается самой идеи то есть стандартны для платформо-независимой сериализации/десериализации бинарных данных:
Base64,
ProtoBuf,
BSON и т.д.
В Вашем случае лучше использовать Base64, т.к. он довольно распространен, прост и не требует дополнительных зависимостей. Посмотрите методы
Convert.ToBase64String и
Convert.FromBase64String 
