Как построить дерево?

Question

[INTERNALINTERFERENCE]

У меня есть таблица, в которую прилетает по 2-10к событий в секунду. Все это с виртуализацией показывается на ui, но проблема в другом.
Данные, которые прилетают в коллекцию, необходимо в реальном времени объединять и строить префиксное дерево (ведь id нет).
Данные выглядят вот так:

$SYS/scheme/node/beacon
$SYS/info/enum/beacon
$SYS/organization/production_calendar/beacon
$SYS/system/event_archive/beacon
$SYS/archive/search/beacon
$SYS/sys/services/beacon
$SYS/sys/broker/state/MQTTnet.LogViewer-23ac9203-50ad-4d90-8832-9ab0fb0f4a51
$SYS/sys/schedules/event/00:00:01

Сразу скажу, что $SYS - это не нода, их много, а это просто пример
Мне бы понять логику, как это все делается именно в реальном времени, когда список с названиями событий все время расширяется. И как не ловить outofmemory или stackoverflow ошибки

Comments

[Everything_is_not_so_bad]

Люди, похоже, хотят помочь, а вопрос неясен.

Answer 1

[Александр]

Я бы сделал очередь. Пришла строка, запихнул в задачу, забыл. Но тут вопрос сколько памяти нужно на обработку 10к в секунду + реалтайм. Тут уже возникает кэш (в БД или на диске), который не дает переполняться памяти. Опытным путем выясняем сколько задач влезает в память. Если задач уже много в очереди - пишем в кэш. Если мало, то ставим в очередь.
Или вопрос был про парсинг и построение дерева? Тогда зависит от ЯП.

Answer 2

[Сергей Масленников]

Уважаемый INTERNALINTERFERENCE, я не совсем понял Ваш вопрос.

Вы спрашиваете об идеях визуализации 10 тыс. событий?

Или как построить статистику вхождения нодов (листов) в ветку?

Или что-то ещё...

Поясните, пожалуйста.

Comments

[INTERNALINTERFERENCE]

я спрашиваю об идеях визуализации

собственно, алгоритм я написал, но я бы хотел узнать о best-practice

public class DrawTreeService
    {
        private readonly ConcurrentQueue<IEnumerable<string>> FileLists = new();
        public readonly Tree MainTree = new Tree();
        private readonly CancellationTokenSource CancellationTokenSource = new();
        private CancellationToken CancellationToken => CancellationTokenSource.Token;

        public DrawTreeService()
        {
            Task.Run(ProcessFileLists);
        }

        public void Cancel()
        {
            CancellationTokenSource.Cancel();
        }

        public void EnqueueList(IEnumerable<string> list)
        {
            FileLists.Enqueue(list);
        }

        public class Tree
        {
            public readonly Dictionary<string, Tree> Trees = new Dictionary<string, Tree>();
            public readonly HashSet<string> Files = new HashSet<string>();
        }

        private async Task ProcessFileLists()
        {
            while (!CancellationToken.IsCancellationRequested)
            {
                if (!FileLists.TryDequeue(out var list))
                {
                    await Task.Delay(100);
                    continue;
                }

                var isNewElements = DrawTree(MainTree, list);
                if (isNewElements)
                {
                    // TODO Дописываем вызов event-ов, заассоциированных с пересборкой дерева
                    foreach (var i in list)
                    {
                        Console.WriteLine(i);
                    }
                }
            }
        }

        private static bool DrawTree(Tree rootTree, IEnumerable<string> list)
        {
            var u = false;
            foreach (var filename in list
                .Where(x => !x.Contains('/'))
                .Where(x => !rootTree.Files.Contains(x)))
            {
                rootTree.Files.Add(filename);
                u = true;
            }

            var subfolders = list
                .Where(x => x.Contains('/'))
                .Select(filename =>
                {
                    var array = filename.Split('/');
                    var prefix = array.First();
                    var subFile = array.Skip(1).Aggregate((a, b) => a + '/' + b);

                    return (prefix, filename: subFile);
                })
                .ToArray();

            subfolders
                .GroupBy(t => t.prefix)
                .ToList()
                .ForEach(t =>
                {
                    var folder = t.Key;
                    if (!rootTree.Trees.ContainsKey(folder))
                    {
                        rootTree.Trees[folder] = new Tree();
                        u = true;
                    }

                    var u1 = DrawTree(rootTree.Trees[folder], t.Select(t1 => t1.filename).ToArray());
                    u |= u1;
                });

            return u;
        }
    }

[INTERNALINTERFERENCE]

вот так хочу, но не могу понять, как это все визуализировать

[Александр]

INTERNALINTERFERENCE, я боюсь, что 10к элементов ежесекундно в любой список (на компе или в web) вывести не получится в силу ограниченности интерфейса. В консоль можно. Но прочитать будет нереально.
Как минимум, можно вывести корневые элементы, а дальше обеспечить фильтрацию. И выводить только запрошенные пользователем через фильтр данные.
Ну просто не работают люди с такими объемами данных. Не воспринимают их. Тут скорее надо заходить с другой стороны. А какая задача стоит перед человеком, который с этими данными работает? И исходя из нее делать интерфейс. Может там важны в реальном времени только ошибки, например, а остальные данные справочные. И т.д.