@4ainik
начинал с бейсика на 286 в 1994

Какие эффективные методы для обработки больших массивов данных?

Здравствуйте.

Есть большой массив данных в БД 500тыс.
Данные состоят из временной метки и продолжительности события.
Какие эффективные методы для обработки больших массивов данных существуют и что вы можете порекомендовать в данном случае? И что вообще можно сделать с такими данными? В какой наглядной форме можно представить?

Может быть есть специалисты по статистике?
  • Вопрос задан
  • 191 просмотр
Пригласить эксперта
Ответы на вопрос 1
@dmshar
1. 500 тыс. чего? Записей? Какой объем записи? Но вообще-то говоря, данные такого объема "большими" считать не приходится - это вполне умеренные объемы для практически любых современных задач и соответственно - современных инструментов работы с данными.
2. Данные указанного типа - относятся к т.н. временнЫм рядам. Классика жанра, если временнЫе метки задают равные интервалы, но и в противном случае - можно работать с такими данными относительно легко - главное, понимать, что же с этой информацией вы хотите сделать.
3. Форма визуализации времаннЫх рядов - различного рода графики. Ось Х - время, ось Y - значения ряда. Впрочем, могут быть и другие представления, в зависимости от цели такой визуализации.
4. С такими данными обычно решают два класса задач. Либо по набору значений ряда в прошлом выполняют предсказание значений, которые ряд будет принимать в будущие моменты времени. Либо обнаружение в прошлых значениях ряда некоторых аномалий. Тут может быть два варианта - либо выявление выбросов, т.е. единичных точек, чье поведение противоречит модели поведения ряда, либо выявление момента смены собственно самой модели поведения ряда.
5. Да, "специалисты по статистике" тут - наверное, к вашему удивлению - тут есть.
6. "не могу сформулировать задачу, т.к. не владею предметной областью статистики -- а вы сформулируйте свою задачу в своей предметной области, а специалисты по статистике вам потом помогут.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы