Техники и методы анализа преобразованных данных?

Question

[Захар Шайков]

Какими статистическими методами и готовыми тестами максимально, и в полном объеме распознать скрытые закономерности и зависимости в табличных данных?
Пример изучаемых результатов приложен на фото.

spoiler

Каждая строка является отдельным результатом работы программы.
Планируется обработка и анализ на взаимосвязи более 1 миллиона таких строк.

Подчеркиваю методы и техники анализа для представленного мной типа табличных данных !!!

Привожу технические детали вопроса

1) Столбцы (Start date) и (End date) указывают на точку начала и точку конца проведённого измерения (Испытания)
Каждая строка и все ее составляющие является испытанием а на уровне алгоритма (Блок вычислений)
2) Третий столбец указывает на порядковый номер измерения (Блока) в ходе испытаний. При формировании генеральной совокупности все измерения выполняются в порядке очереди и создают при этом таблицу с Блоками результаты и структура которых напрямую зависит от структуры или комбинации предыдущих (стоящих перед ним блоков)
3) Четвертый уточняет номер конечной подборки очередностей блоков
4) Столбцы «весов» функций преобразования (1,2,3,5,8,13,21,34,R)
Указывают на одно из 2 возможных номинативных значений элемента Блока
V - l
Так же каждый столбец весов функций обладает присвоенными ему в ходе измерения численными значениями.
Следовательно 9 столбцов блока обладают двумя качествами одновременно.
5) Rev-I это параметр блока присваиваемый методом расчета временного ряда блока опираясь на его случайную структуру.
6) Последние три столбца сигнализируют об общем результате блока, который в свою очередь складывается из номинальных и числовых результатов «весов» функций.
7) Строчная комбинация результатов весов функций создаёт «сущность» коих не может быть более 512 штук по комбинаторным законам.

Смысл и задачи анализа результатов в обнаружении факторов проявляющихся в элементах блока влияющих и связанных с последующим наступлением того или иного результата измерений (Блока- строки)
Так же нахождение метода анализа комбинаторных структур блоков на предмет распределения, частоты появления и степени влияния на формирование тех или иных результатов Блоков (измерений) идущих следующими в эксперименте - исследовании !?

Answer 1

[dmshar]

Выбор метода анализа данных зависит от целей, которые ставит перед собой исследователь - в первую очередь.
На столь общий вопрос - "максимально, и в полном объеме распознать скрытые закономерности и зависимости в табличных данных" - можно дать только общий ответ - любыми методами регрессионного, классификационного, кластерного, факторного анализа.
"Готовые тесты" - наверное имеется ввиду "библиотеки для анализа данных". При ваших небольших объемах данных - также могут подойти любые. От EXCEL или SPSS scikit-learn, до scikit-learn или любых библиотек на основе искусственных нейронных сетей.
В общем - хотите конкретных ответов - детализируйте вопрос.

Comments

[Захар Шайков]

Уточнил )

[dmshar]

1. Что такое "испытание (?) а (??) на уровне (???) алгоритма(????)"?
2. "Блок, результаты и структура которых напрямую зависит" - я понимаю (вроде бы), что такое "результаты". Но что такое "структура Блоков"? Где и как она описывается?
3. Номер Блока у вас соответствует порядку начала проведения измерений? Есть-ли смысл хранить И время начала И номер блока. Если это сделано сознательно - то зачем?
4. " номер конечной подборки очерёдностей блоков" - что означает эта фраза? В приведенном примере - все значения равны "0". Что это означает?
5."Столбцы «весов» функций преобразования (1,2,3,5,8,13,21,34,R)" - абсолютно ничего не понятно. Что за функция преобразования. Какова она? Откуда она взялась? Что означают указанные цифери? Где они в таблице? как могут быть однотипные данные измерены и в абсолютных значениях и в процентах??
6. "Столбцы.... Указывают на одно из 2 возможных" - каким образом "Столбцы весов" указывают на одно из возможных значений другого столбца? Вообще, какой-то набор слов.
7. "Следовательно 9 столбцов блока обладают двумя качествами одновременно" - пытался на картинке найти 9 однотипных столбцов - не получилось. Как может ОДИН столбец обладать (??) двумя качествами - даже не могу себе предстаить.
6. Ваши п.5,6,7 - извините "непереводимая игра слов". Т.е. возможно вы и понимаете, что вы хотите эти набором фраз сказать, но вот объяснить это постороннему вам как-то слабо удалось.
7. "Смысл и задачи анализа результатов в обнаружении факторов проявляющихся в элементах блока влияющих и связанных с последующим наступлением того или иного результата измерений" --- Что вы подразумеваете, говоря про "факторы" (в анализе данных - это строго определенный термин). Что значит "фактор, проявляющийся в элементах блока"???? Где в этой фразе надо поставить запятые, что-бы понять ее смысл?
Что такое "наступление результата измерения"??? "Наступать" может некое событие, измерение может лишь отображать некий факт или значение параметра.
8. Что вы понимаете под "анализом комбинаторных структур блоков" ???
Что такое "комбинаторная структура"?
Ну, в общем, как-то так.
Я думаю, понять, что вы там изучаете, без описания самого объекта исследования вам вряд-ли удастся.
P.S. А вообще-то, исходя из того, что процесс у вас развивается во времени - скорее всего вам придется применять какие-то разделы теории анализа временных рядов. Следовательно, копать вам придется в этом направлении. Но помочь без понимания самого процесса исследования вряд-ли кто сможет (захочет).

[Захар Шайков]

Я не обладаю на данном этапе знанием точных формулировок и терминов приведённых областей знаний к сожалению.
Основная задача эксперимента - это анализ графиков, применив алгоритм преобразования первичных данных на выходе получить обладающие иными свойствами результаты. Примерно так

[Захар Шайков]

1) Испытание так же можно выразится эксперимент.
Случайным образом выбирается отрезок графика , его длина так же случайна !
В рамках границ этого временного отрезка выбираются точки.
Их количество и дистанции расточник друг к другу могут быть абсолютно случайными.
Каждая из девяти функций производит вычисления отношения веса функции к значению выбранной точки.
Весом функции я назвал множитель функции, но играет от больше как вес в нейронных сетях. После того как все точки выбраны и расчеты произведены ячейке Блока вычислений присваивается - номинальное значение (победа или поражение), а так же Телеметрия - числовая формулировка состояния ячейки.
Блок в свою очередь представляет собой собрание результатов работы функций в ряд.

[dmshar]

Ну, тогда у вас два пути.
Если это научное решение (или, например, вы пишете диссертацию) то придется углубиться в тему и изучить и формулировки и метод
Если же это инженерно- технический проект, то наиболее разумное решение - взять в команду человека уже обладающего необходимыми знаниями и опытом.
Если-же это учебное задание (третий путь) - то мучьте своего преподавателя :-), он вам объяснит, как оно ДОЛЖНО быть.
И еще, к слову. Анализ графиков не может быть задачей (целью) эксперимента. Это всего-лишь один из методов исследования.

[Захар Шайков]

В выбранном мной направлении думается мне что я первопроходец) Это все относится к хобби личным интересам.