C#. Поиск байтовых ключей в словаре. Что я делаю не так?

Question

[maxcad]

Вот пример.

byte[] bufer1 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };
byte[] bufer2 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };

Dictionary<byte[], string> Dict = new Dictionary<byte[], string>();

Dict.Add(bufer2, "bla bla bla");

bool test = Dict.ContainsKey(bufer1);

Console.WriteLine(Dict[bufer1]);
Console.ReadLine();

Я так понял если у массивов одинаковое содержимое, то это еще не значит, что они равны. А ключ в словаре является ссылкой на переменную bufer2.
Поэтому переменная test не true, а Console.WriteLine(Dict[bufer1]); вызывает исключение.

Я так понимаю у меня не получится вытаскивать из словаря значение по ключу если ключ не является ссылкой на переменную даже не смотря, что у них одинаковое содержимое?

Я-то хотел создать структуру хранения данных при которой можно вытаскивать строковые значения по байтовому ключу Dict[byte[]]. Но это не работает в случае если ключ - байтовый массив.
Или можно что-то сделать?

Comments

[Илья]

maxcad, ну так и что решили?

[maxcad]

Илья,
Вот рабочее решение.

byte[] bufer1 = new byte[3] { (byte)4, (byte)0, (byte)91 };
byte[] bufer2 = new byte[3] { (byte)4, (byte)0, (byte)91 };
Dictionary<string, string> Dict = new Dictionary<string, string>();
string str1 = bufer1[0].ToString("X2") + bufer1[1].ToString("X2") + bufer1[2].ToString("X2");
string str2 = bufer2[0].ToString("X2") + bufer2[1].ToString("X2") + bufer2[1].ToString("X2");
Dict.Add(str1, "blablabla");
bool test = Dict.ContainsKey(str2);
            if (test)
            {
                Console.WriteLine(Dict[str2]);
            }
            else
            {
                Console.WriteLine("Не найдено");
            }

[Илья]

maxcad, да это может работать. Однако, такой способ приводит к дополнительным аллокациям памяти для строк. И при высочастотных операциях, производительность будет проседать.

[Илья]

maxcad,

internal class Comparer : IEqualityComparer<byte[]>
   {
       public bool Equals(byte[]? x, byte[]? y)
       {
           if (x == null || y == null) return false;
           if (x.Length != y.Length) return false;
           for (int i = 0; i < x.Length; i++)
           {
               if (x[i] != y[i]) return false;
           }
           return true;
       }
       public int GetHashCode(byte[] obj)
        {
            if (obj == null || obj.Length == 0) return 0;
            int hashcode = obj[0];
            for (var i = 1; i < obj.Length; i++)
            {
                hashcode = HashCode.Combine(hashcode, obj[i]);
            }
            return hashcode;
        }
   }
   class Program
   {
       static void Main(string[] args)
       {
           var d = new Dictionary<byte[], int>(new Comparer());
           
           byte[] b1 = {1, 2, 3, 4};
           byte[] b2 = {1, 2, 3, 4};
           
           d[b1] = 1;
           d[b2] = 2;
           Console.WriteLine(d.Count);
       }
   }

[Илья]

Для HashSet, Dictionary и ConcurrentDictionary конструкторы с IEqualityComparer существуют не просто так)

[maxcad]

Илья, у меня есть бинарный файл с данными похожими на сериализацию.
Сруктура у него примерно такая
(8 нуллбайт) (3байта-ключ)(8 нуллбайт)(строка-значение)(8 нуллбайт) (3байта-ключ)(8 нуллбайт)(строка-значение) итд.

В HEX редакторе это выглядит примерно так
........aabbcc........bla bla bla........ddeeff........tra la la.......итд

Мне надо этот файл собрать в переменную к которой я впоследствии смогу обращаясь по ключу получать строку.
Соответственно было бы выгоднее ключ оставлять в байтах.
Но к сожалению словарю нельзя подсунуть данные не являющиеся ссылкой на ключ.

Я так понял тип byte[] ведет себя так везде, не только в словарях, а вообще везде.

Странно. почему строковые переменные ведут себя по другому?

byte[] b1 = {1, 2, 3, 4};
byte[] b2 = {1, 2, 3, 4};

b1 == b2 false

string s1 = "aaa";
string s2 = "aaa";

s1 == s2 true

В этом примере у строк как и у байтов разные адреса. По сути s1 и s2 это ссылки на разные объекты. Но почему-то они равны. А байты почему разные?

[Илья]

maxcad, это базовые основы C#.
Все наследуется от Object,
у Object есть базовые методы Equals и GetHashCode, которые определяют как будут объекты сравниваться.
По умолчанию просто сравниваются ссылки, но в наследниках можно переопределить методы Equals и GetHashCode чтобы изменить способ определения эквивалентности объектов.
У класса string метод Equals переопределен так что сравнение идет по значению строки, поэтому строки равны.
В случаях когда необходим еще один способ сравнения, например в вашем случае с массивом байт, реализуют соответствующий IEqualityComparer. Если передать его в словарь то его методы GetHashCode и Equals будут использоваться для определения эквивалентности, а не те что определены в byte[]

Подробнее в доках
https://docs.microsoft.com/ru-ru/dotnet/csharp/pro...

[maxcad]

Илья, но основная проблема у меня не в том, чтобы найти или проверить существование ключа, а получить значение по ключу.

byte[] bufer1 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };
byte[] bufer2 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };

Dictionary<byte[], string> Dict = new Dictionary<byte[], string>();

Dict.Add(bufer2, "bla bla bla");

Console.WriteLine(Dict[bufer1]); // нет такого ключа потому-что ключом была переменная bufer2

Если бы словарь не выкидывал исключение при обращении к несуществующему ключу, то и проверка его существования можно было бы не производить.

IEqualityComparer кажется не решает эту задачу. Или решает?

[Илья]

maxcad,

internal class Comparer : IEqualityComparer<byte[]>
    {
        #region - Interface Implementations -
        public bool Equals(byte[]? x, byte[]? y)
        {
            if (x == null || y == null) return false;
            if (x.Length != y.Length) return false;
            for (var i = 0; i < x.Length; i++)
            {
                if (x[i] != y[i]) return false;
            }

            return true;
        }

        public int GetHashCode(byte[] obj)
        {
            if (obj == null || obj.Length == 0) return 0;
            int hashcode = obj[0];
            for (var i = 1; i < obj.Length; i++)
            {
                hashcode = HashCode.Combine(hashcode, obj[i]);
            }

            return hashcode;
        }
        #endregion
    }

    internal class Program
    {
        #region - Members -
        private static void Main(string[] args)
        {
            var d  = new Dictionary<byte[], string>(new Comparer());

            byte[] buffer1 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };
            byte[] buffer2 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };

            d.Add(buffer2, "bla bla bla");
            
            Console.WriteLine(d[buffer1]); //bla bla bla
            Console.WriteLine(d[buffer2]); //bla bla bla
        }
        #endregion
    }

[Илья]

maxcad, а если вы не хотите чтобы исключение кидалось при несуществующем ключе, то используйте TryGetValue

[maxcad]

Илья,
А не подскажете у IEqualityComparer нет никаких ограничений на работу в разных потоках или разных классах?

В Program.cs когда весь код в одном файле всё работает. А когда я словарь передаю в аргументах конструктора в другой класс, а тот через аргументы лямбда выражения перекидывает его в другой поток, а там обработчик выдергивает его из базового класса. IEqualityComparer перестает работать.

А вариант с преобразованием байтов в строку без проблем проходит из класса в класс, из потока в поток, через все наследования итп.

[Илья]

А не подскажете у IEqualityComparer нет никаких ограничений на работу в разных потоках или разных классах?

Нет ограничений, думаю у вас баг где-то

А вариант с преобразованием байтов в строку без проблем проходит из класса в класс, из потока в поток, через все наследования итп.

Тут как бы дело ваше, можете и так оставить, если вам это подходит. Правда суть EqualityComparer пройдет мимо вас, а это, на мой взгляд, большое упущение.

[maxcad]

Илья, я понял как работает IEqualityComparer и уже вроде нашел где и почему у меня он теряется. В одном из базовых классов он переопределяется в другую переменную, коротко говоря.

Вобщем я понял как оно всё работает и можно коменты с IEqualityComparer пометить как решение. Я такой кнопки там не вижу.

[Илья]

maxcad, я писал про него в ответах. Можете там отметить

Answer 1

[Илья]

реализовать IEqualityComparer<byte[]> и передать в словарь при его создании

Comments

[Илья]

Пример из доков
как раз со словарем

Answer 2

[Василий Банников]

Вот пара вариантов:
1. Преобразовывать массив в base64 строку и использовать её как ключ
2. Если размер фиксировано 5 - можно использовать (byte, byte, byte, byte ,byte) (кортеж из пяти байтов)
3. Раз уж размер всего 5 байт, то можно сделать структуру-обёртку (в которой будет 5 байтовых полей)
4. Можно хранить байты в int64
5. Можно считать хэш от байтового массива и использовать хэш как ключ.
6. В принципе можно сделать обёртку над массивом с кастомным Equals и GetHashCode.

Answer 3

[maxcad]

Но с другой стороны у этого метода хранения данных есть другой положительный момент.

Например можно в словаре хранить несколько одинаковых ключей. Это значит одному набору данных можно присвоить несколько разных значений.

byte[] bufer1 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };
byte[] bufer2 = new byte[5] { (byte)4, (byte)0, (byte)91, (byte)204, (byte)2 };
Dictionary<byte[], string> Dict = new Dictionary<byte[], string>();
Dict.Add(bufer1, "bla bla bla");
Dict.Add(bufer2, "tra la la");

Правда извлечение и выборку придется производить полным перебором словаря и сравнением содержимого ключей, что малость энергозатратно.

Comments

[Илья]

В этом случае словарь теряет свой смысл. Лучше уж тогда взять List

[Griboks]

Ключи разные, одинаковые ключи не поддерживаются.

[maxcad]

Griboks, байтовые ключи с одинаковым содержимым смотрят в разные области памяти, стеки, кучи итп. Поэтому словарем воспринимаются как разные, хоть и значения у них одинаковые.

[Griboks]

maxcad, нет, ключи у словаря в данном коде - это указатели (ссылки). А указатели разные. Но на что указывают эти указатели словарю глубоко наплевать, т.к. для него - это всего лишь ключи.

[maxcad]

Griboks, в этом его и проблема.
Если
bufer1 bufer2 имеют одинаковые значения
Dict.[bufer1] все равно не равен Dict.[bufer2] потому-что у bufer1 bufer2 разные адреса.
А это значит для выборки значений придется перебирать его в цикле, что в разы увеличивает время работы. А так же утрачивается его ассоциативность.

А мне хотелось что словарь будет как ассоциативный массив в php. В который можно напихать ключи и значения любых типов. А оно вот как вышло.

[Griboks]

maxcad, вы заблуждаетесь, buffer1 и buffer2 имеют разные значения.

[maxcad]

Griboks, насколько я знаю, значение переменной это те данные которые она возвращает. А обе они возвращают одинаковые данные. Значит у них одинаковые значения.

[Griboks]

maxcad, переменная ничего не возвращает, она хранит данные. А обе эти переменные хранят ссылки на разные участки памяти, поэтому у них разные значения.