Какая самая производительная библиотека для визуализации данных?

Question

[Данил Самодуров]

Подскажите производительную библиотеку python для визуализации больших объемов данных. Пробовал в Plotly строить трехмерный график с порядком данных 10^6 - 10^9. Очень сильно зависает, что невозможно качественно оценить данные. Результата также не получил с mathplotlib. Есть еще несколько известных библиотек, таких как Seaborn, Missingno, Altair, Bokeh и др. Но боюсь, что результат будет тем же. Помогите, пожалуйста, советом, уважаемые участники сообщества Хабр, как мне решить эту проблему?

Comments

[Viktor T2]

GR Framework
https://gr.readthedocs.io/

[Владимир Коротенко]

У вас экран фулл хд так зачем вы насилуете его? Сократите данные для отображения

[Данил Самодуров]

Viktor T2, попробую

[mayton2019]

10 в 9 степени это триллион. Я думаю что такой объем данных при просмотре надо прореживать. Если это поверхность -, то гнать по ней фильтры низкой частоты. А оригинальный уровень деталей показывать только при увеличении. Здесь я думаю что игровые технологии такие как LOD в помощь.

По поводу хранения. Если одно измерение это float то 10^9 * 4 = 4гб. Это даже с диска прочитать не так быстро. Вобщем я-бы грузил частями и в такие структуры как quad-tree, octal-tree. Вобщем как уровни грузятся в игре.

Впрочем не слушайте меня. Я перфекционист и зануда. Но главный месседж таков. Умерьте аппетиты.

[Kirgus]

mayton2019, в общем*

[Данил Самодуров]

mayton2019, мне нравиться ваша идея про фильтрацию, хоть здесь совсем не разбираюсь. В прочем это причина, чтобы разобраться.

P.S. 10^9 – это миллиарды.

[mayton2019]

Данил Самодуров, покажи как у тебя данные представлены. Визуализировать щас можно почти все. Вот множество Мандельбротта - бесконечное. Но его как-то визуализируют. Масштабируют.

[Данил Самодуров]

mayton2019, данные в виде трех столбцов, первый из которых – дата, два остальных – числа. Столбцы соответствуют осям x, y, z

2021-11-24 09:58:05,57597.248814,0.50781
2021-11-24 09:58:05,57597.248814,0.434
2021-11-24 09:58:05,57633.1043,0.001122
2021-11-24 09:58:05,57638.196658,0.000123
2021-11-24 09:58:05,57650.3579,0.00115
2021-11-24 09:58:05,57664.9576,0.001059
2021-11-24 09:58:05,57695.207076,0.867
2021-11-24 09:58:05,57719.0,0.056141
2021-11-24 09:58:05,57730.561962,0.000558

[mayton2019]

Данил Самодуров, ну это просто замечательно. Двумерный график. Я уж думал там - вокселы. Томограммы. Объемные срезы.

Вобщем надо просто взять макс и минимальное время. И побить это все на 10, 100, 1000 одинаковых отрезков. И для каждого отрезка посчитать среднее значение для фичи y1, y2. Вот и получится несколько датасетов которые очень быстро рисуются на экране Excel. Ну а если юзер захочет детально посмотреть - то будет брать фрагменты с большим разрешением.

[Данил Самодуров]

mayton2019, почему двумерный? Я же написал, что задача построить трехмерный график.

[mayton2019]

Данил Самодуров, ну у тебя идет три колонки. Время - t. Потом ему соответсвующие 2 величины. Y1, Y2.
Я это так себе увидел. Как в timeseries.

А как ты себе представляешь свой график?

[Данил Самодуров]

mayton2019, по X откладывается время, по Y откладывается значения во второй колонке и, соответсвенно, значение третьей колонки откладывается по Z.

[mayton2019]

У тебя время не меняется. Получается что за 1 секунду надо отобразить график вида YZ

2021-11-24 09:58:05                 ,57597.248814,0.50781
                                    ,57597.248814,0.434
                                    ,57633.1043,0.001122
                                    ,57638.196658,0.000123
                                    ,57650.3579,0.00115
                                    ,57664.9576,0.001059
                                    ,57695.207076,0.867
                                    ,57719.0,0.056141
                                    ,57730.561962,0.000558

За следующую секунду - снова график. Верно?

[Данил Самодуров]

mayton2019, все, я понял ваше предложение. Мне не кажется, что осреднять по временной метке правильно. Но попробовать стоит. Спасибо за совет.

[mayton2019]

Данил Самодуров, как будет угодно.