Можно что-то типа.
var array = new[] {1, 2, 3, 4};
var span = new Span<int>(array);
var bytes = MemoryMarshal.AsBytes(span);
var byteArray = bytes.ToArray(); //тут будет копирование.
Если копирование нежелательно, то можно попробовать через указатели и unsafe.