Можно, например, использовать тип BigInteger (из System.Numerics) для парсинга числа, а затем конвертировать его в double. Только надо заранее удалить префикс "0x".
var parsedValue = BigInteger.Parse("081a8269359ea02246152537192c7827", NumberStyles.HexNumber);
var result = (double)parsedValue;