C# — как выбрать хранилище данных в памяти?

Question

[iamserge]

Было дело, нужда заставила обратиться к СУБД, но я избежал этого довольно просто. Удалось разделить данные на фрагменты по 1 - 20Мб, так чтобы запросы не захватывали более одного такого файла. То есть удалось без ущерба всякого все разделить, от чего я смог отказаться от СУБД в принципе, вернулся к XML и все здорово ...

Но все таки проблема меня настигла, стало нужно хранить данные в "массиве". Я так пишу, потому что лет 15 использовал их на PHP и горя не знал. Просто потому что не было ничего толком, так и вопрос не стоял. Однако, ничего не вечно под луной ... Поэтому теперь на C# нужно сделать подобное:

<?php

$E = array(
array(double, DateTime, double, string, int),
array(double, DateTime, double, string, int),
array(double, DateTime, double, string, int),
array(double, DateTime, double, string, int),
array(double, DateTime, double, string, int)
}
?>

Я намерено указал вместо примера типы данных, чтобы было яснее и уже не привязываться к PHP. В целом подсказок по теме много, разных опытов. Сейчас попробовал просто словари. Но появилась проблема с ключами, оказалось я ничего выбрать в качестве ключа не могу, DateTime иногда совпадает. Но это было скорее временное решение ...

Так что вот такой вот вопрос, как же быть с данными? При этом на данный момент все хранится в XML, он как основной формат, с которого я хочу отправить все в память и эксплуатировать. Может быть стоит иначе хранить ... Может это даст свои преимущества, я уж думал бинарно их хранить "научиться" (в смысле не хранил никогда, но заметил что так часто делают разработчики, особенно игр, когда данных архимного и все упаковывают в десяток два файлов).

Но пока решения не видится, почитываю про все понемногу, но на поверхности решения не видать, да и я не знаю ... Как разрешить задачку? И тут самое важное замечание, мне очень много нужно операций делать с этими данными: считать, сравнивать, сверять и т.п. ... То есть все судя по всему будет одним циклом, но "деятельности" будет много, от чего мучительный вопрос и повис...

Microsoft, к примеру, не многословен:

Represents a collection of keys and values.

Вот мол нате, а далее смотрите как оно там ... И как же оно там то?

Comments

[Leving]

Чего не используете листы?
public class Model
{
public double a;
public DateTime dt;
public double b;
и тд
}
List list = new List();
list.Add(new Model{свойства модели});

[iamserge]

Leving, Да я вот как бы пробую, правда непонятно что за ошибка появилась:

class FinanceDate
{

public DateTime VALX { get; set; }
public double BID { get; set; }
public double ASK { get; set; }
public double LossSummary { get; set; }

}
public static List ActiveXML = new List();

Такой ошибки со словарями не было ..

Ошибка CS0052 Несогласованность по доступности: доступность типа поля "List" ниже доступности поля "Form1.ActiveXML" ...\Form1.cs

То есть это один из вариантов, спасибо что напомнили. Как заработает потестирую его пожалуй

[Leving]

iamserge, лист дженерик нужен
https://docs.microsoft.com/en-us/dotnet/api/system...

List<FinanceDate> financeDates = new List<FinanceDate>();

дальше уже добавление в коллекцию

financeDates.Add(new FinanceDate { VALX = DateTime.Now, BID = 0, ASK = 0, LossSummary = 0 });

[iamserge]

Leving, Переделал заработало, спасибо! Я им уже пользовался раньше, надеюсь сработает он быстро ...

Answer 1

[d'Ivan]

По сути, требуется список элементов определенной структуры.
List<MyStruct>
Но если нужна персистентность данных, то по-моему лучшим решением будет таки СУБД типа SQLite. Оно будет и экономичнее в потреблении памяти и более масштабируемо.

Comments

[iamserge]

Ну тут как раз не совсем так, мне старые состояния не очень нужны. Да и память не так сильно расходуется, все же 20Мб это в наше время не какие то заоблачные цифры. Даже у принтера и то больше =)

Но вообще судя по всему пока по отзывам в C# эти самые списки лидируют ... У меня в целом самый приоритет, за быстры перебор и изменение данных. То есть мне надо по ним пройтись, многие поменять и отрисовать график. А их всего около 250к, а график ждать не хочет, то есть надо быстро делать это ...

Я могу не перебирать каждый раз все, а штук по 500 перебирать. Но это значит, что мне предварительно их нужно отфильтровать по содержанию. Ну вроде SELECT * FROM list WHERE 1000 > XVAL > 100

Но понятно дело это тоже на за "бесплатно" в рамках ресурсов, запрос тоже потребует их. А делать это надо опять же быстро, чтобы график не показывал все с паузами по минуте или подобно ...

[d'Ivan]

iamserge,
20МБ на 1 график- это многовато, по-моему.

SELECT *

Так не надо.
Данные можно прореживать (sampling) и в "окне" просчитывать другие параметры, такие как минимум и максимум.

[iamserge]

Роман Мирр, Ну там не так буквально, то есть у меня 20Мб и мне их нельзя никак не учитывать. Но я могу текстом вывести самые важные расчеты.

А график из всего этого для наглядности, например я близкие точки просто уберу, еще поищу способы сокращения точек на графике и он станет всего 0,5 - 1 Мб в итоге, но на нем будет наглядно видно что получилось. Ну расчеты при этом само собой по всем данным, иначе у меня не расчеты а черти что получится, условно примерное, но нафиг не нужное.

Да и по графику такой плотности понимать точные цифры вообще не возможно, но все же он нужен для наглядности.

[iamserge]

Роман Мирр, Ну я образно про SELECT, чтобы понятно было что хочу делать без сложных описаний

Answer 2

[Sumor]

Всё зависит от того, что необходимо.
Если необходимо просто проводить последовательную обработку, то нужен IEnumerable.
Если нужно знать заранее количество элементов, то нужен ICollection.
Если нужна работа доступ по индексам элементов, то нужен IList.
Если нужна работа по ключам, то нужен IDictionary.
Если нужно связывание/отработка изменений элементов, то нужны IBindingList или IObservableCollection.
Это базовые возможности, которые будет наследовать любой класс для хранения элементов. Дальше если важен способ хранения элементов или особенный доступ - выбираете или реализуете класс с нужными интерфейсами и возможностями.
Базовые классы: массив, List<T>
Queue<T> - очередь
Stack<T> - стек
Dictionary<TK,TV> - словарь
ObservableCollection<T> - коллекция с поддержкой событий изменения

Comments

[iamserge]

Честно сказать впечатляет немного, пытаюсь пока осмыслить. После <?php array(); ?> это знаете не так прост осилить ...

[Sumor]

array() это по сути List<T>