Просто добавил в property класс ECDiffieHellmanCng, взял его свойство PublicKey и вернул байты. После тест прошел и все заработало, но поддержка на Macbook Pro алгоритма Diffie Hellman (DH) Microsoft так и не была реализована пока-что
private ECDiffieHellmanCng _ECDiffieHellmanCng;
public byte[] PublicKey
{
get
{
return _ECDiffieHellmanCng.PublicKey.ToByteArray();
}
}