Какие есть эффективные средства анализа больших данных?

Question

[glu-dimaz]

Требуется проводить анализы объемных .json файлов. Искать оптимальные значения по критериям, выводить средние и т.д. - наверное нейронка. GPT, deepseek, gigachat, yandex gpt - нет, они не читают объемные файлы даже в платных версиях из за ограничений использования серверных ресурсов.

Comments

[Komrus]

Утоните, пожалуйста:
1) "большие файлы" - это какие порядки в [кило/мега/гига]байтах?
2) Порядки количества этих файлов? (десятки/сотни/мильёны)?

Answer 1

[rPman]

gpt ИИ тут никаким боком, абсолютно, даже вреден.
Эффективный размер контекстного окна топовых ии - 32к токенов (тех кто стоит баксы а не десятые цента за 'диалог'), ну а обычно это 8к токенов (даже если размер контекстного окна заявлен в сотни тысяч или миллион), и даже в этом пределе точность работы 80-90%, т.е. 20% информации может быть потеряна или искажена, что совершенно не подходит для аналитики.
https://github.com/mnismt/llms-long-context-benchm...
https://fiction.live/stories/Fiction-liveBench-Feb...

В лучшем случае ИИ может работать прослойкой между общим человеческим языком и специализированным типа sql. Но даже тут создавать такую систему и главное ее тестировать, нереально сложно. Возможно, при неадекватно высоких затратах денег, программирующие агенты смогут проанализировать данные и написать готовый код для работы с ними.

json нужно читать просто какими либо библиотеками в любимом языке программирования, при очень больших данных (не влезающих в оперативную память) можно подумать о конвертации данных в реляционные базы данных (то что озвучено в вопросе подойдет) или какие либо иные, лучше подходящие под тип аналитики.

Answer 2

[VoidVolker]

То, что вам надо называется "База Данных". Их есть целая куча под разные задачи - составляете список ваших задач, требований к БД и подбираете соответствующую вашим задачам БД и средства работы с ней. Далее пишите скрипт/приложение для загрузки в БД ваших данных и затем используя средства работы с БД делаете нужные вам запросы и выводите в удобном вам виде. Например делаете запрос на специализированном языке запросов SQL и выводите результат в какой-нибудь графане.

Comments

[glu-dimaz]

Вы вообще тут? Тут люди далеко не глупые - чтобы знать базу и логику работы БД. Речь идет не о извлечении данных. А о конкретном анализе данных. Кучи данных. Большой кучи данных. Большой кучи данных. А не сделать выборку, найти среднее и так далее...

[VoidVolker]

glu-dimaz, конечно тут. Для того, чтобы анализировать данные - их для начала надо куда-то сложить. И эту задачу решает БД. И для разных видов данных и их анализа подходят разные БД. А вот средства анализа уже подключаются к БД и извлекают их оттуда, проводят какие-то вычисления и туда же или куда-то ещё сохраняют вычисленный результат. Так что, таки речь тут идёт об извлечении данных.

А о конкретном анализе данных.

Где он конкретный?

Искать оптимальные значения по критериям, выводить средние

Вот этот? У вас на текущий момент пока только некий абстрактный анализ.

Кучи данных. Большой кучи данных.

Кучи разные бывают. Ваша куча на текущий момент - абстрактная.

А не сделать выборку, найти среднее и так далее...

Вот же ваша цитата:

оптимальные значения по критериям, выводить средние и т.д.

Может вы всё же определитесь, что именно вам надо?