Существуют ли инструменты для хранения иерархических связанных между собой показателей?

Question

[Shavadrius]

Доброго времени суток!
При составлении документации часто возникает потребность описания формул расчета тех или иных показателей, но проделав такую работу раз приходится делать ее еще раз, т.к. за это время многое в системе поменялось (новые показатели, изменение старых и пр.). Держать такую документацию в надлежащем и актуальном виде сложно.
Вот у меня и возник вопрос: а есть ли какие-то open source решения, которые можно интегрировать в свою wiki проекта, чтобы покрывать следующие "хотелки":
1. Создание справочника показателей/индикаторов, где каждая сущность описывает систему-первоисточник (откуда брать), свое хранилище (где хранить расчитанный показатель), свои зависимости (от каких показателей идет расчет), формула (математическая формула или алгоритм расчета);
2. Выгрузка справочника в удобном виде (csv, json);
3. (опционально) Построение дерева зависимостей в UI.

Ничего интересного на просторах интернета не нашел, допускаю, что как-то не так искал.
Если же ничего такого нет, то прошу совета в каком виде это можно реализовать и в сторону чего думать.
Пока пришел к тому, чтобы все это хранить в какой-нибудь графовой БД (neo4j, graphdb) и пользоваться семантическим парсером, чтобы из строк получать формулы (для красивого вывода куда-нибудь в UI). Еще нужно написать пару-тройку функций для обхода графа и проверки на "цикличность" и "направление" (чтобы без циклов).

Comments

[Stalker_RED]

Описание настолько размытое, что под него подходит многостраничный эксель с формулами. Можно даже на VBS написать выгрузку в json.

[Shavadrius]

Stalker_RED, возможно нужно было расписать и для чего это нужно. Суть: хранение структуры расчета в одном месте (БД), чтобы сервис расчета при поступлении команды (json с данными, например) обращался к этой БД, забирал оттуда структуру (как и что считать), делал расчет и записывал получившиеся значения куда-нибудь в реляционную БД (или какую другую).
При изменении алгоритмов мы меняем все только в одном месте, а настроенные "user friendly" страницы Wiki должны меняться сами собой (при должной настройке).

Пример:
Показатели A и B приходят из системы "Сигма 1". Показатели C, D и E приходят из системы "Альфа 3". Показатель F считается как сумма A и C, показатель G - как разность B и D. Итоговый показатель H равен сумме F, G и E.
В итоге что-то типа такого должно храниться в БД:

{
  name: "A",
  source: "Sigma 1",
  dependencies: []
}
...
{
  name: "F",
  dependencies: [A, C],
  formula: "A + C"
}
{
  name: "G",
  dependencies: [B, D],
  formula: "B - D"
}
{
  name: "H",
  dependencies: [F, G, E],
  formula: "F + G + E"
}

Пусть потом нам приходит в сервис данные типа {A: "12", B: "34", ..., E: "45"}. Мы считываем алгоритмы по которым считаем данные и результат записываем/передаем куда-нибудь дальше.

[Stalker_RED]

Shavadrius, гуглотаблица с формулами не пойдет? Ее по идее можно и в вики-страницу встроить, и api есть.

[Shavadrius]

Stalker_RED, нужно standalone решение (для размещения на своих серверах). Просто гугл-таблицы и excel-файлы - это решение разве что в только в первом приближении. Вот я и ищу - вдруг кто-то где-то реализовал что-то похожее и не нужно городить огород, а взять наработки готовые.

Answer 1

[mayton2019]

Семантические графовые базы данных скорее всего подходят под данную задачу. Типа RDF/Semantic Web.
В качестве языка запросов там могут быть использованы SparQL. В качестве платформы хранения.... а чорт
его знает. Там много форматов. И XML и JSON и есть бинарники и JDBC адаптеры.

Это вообще серебрянная пуля которая везде подходит. Даже реляционки можно также представить. Со своими
накладыми но можно.

Но есть несколько мыслей почему их применение может быть неудобным. Первая. Например - знания о том
как все внутри устроено - будут только у 1 человека. У создателя этой базы. И никто кроме автора
в этой базе ничего не найдет.

Вторая. В эпоху умных чятов такие базы знаний умерли очень быстро. Вернее сказать их полезность
сильно девальвировала. В 20м веке в такие базы много вкладывали. Делали ставку на то что системы
со строгими правилами позволят выводить новые правила и факты. Но не сбылось.

Возможно я ошибаюсь и автору нужно на самом деле другое? Что другое? Ну просто какой-то язык
разметки типа markdown language или вообще confluence где можно макросами расширить функционал
и просто делать ссылки на формулы. И может быть это автору будет достаточно.

Вобщем для более глубокого понимания хотелось-бы чтоб автор просто привел парочки примеров. Может
там реально все проще.

Comments

[Shavadrius]

Доброе утро!
В комментарии к вопросу я приводил пример.
Попробую расписать еще немного:
Предположим, что у нас есть несколько внешних информационных систем из которых посредством какого-либо механизма тянутся данные и записываются в одну большую плоскую таблицу по типу datetime, source, object_id, param1, param2, ..., paramN. После того как все данные получены, запускается расчет окончательных (итоговых) показателей на основании этих параметров. И вот как раз таки все алгоритмы и формулы я хочу хранить не в сервисе расчета, а в отдельной базе данных. Зачем мне это нужно:
1. Чтобы хранить и менять алгоритмы в одном месте;
2. Из этой БД алгоритмы будут подтягиваться в сервис расчета (как-нибудь через фабрику), в документацию (вики);
3. Чтобы создать отдельный сервис над этой БД, по которому можно будет понять КАК ИМЕННО был рассчитан тот или иной параметр (сейчас это реализовано через логирование, но это не всегда нужно, а логи пишутся всегда).

Мне не нужно выводить новые факты из старых: все, что мне нужно - уже известно. Вероятно, нужно было сказать мне нужен синтаксический парсер, а не семантический - там нужно просто уметь строку преобразовать в формулу для расчета. Скорее всего просто нужно будет воспользоваться какой-нибудь математической записью.

[batyrmastyr]

Shavadrius, так может вам хватит аннотаций к коду и автоматического сбора документации, возможно с подтяжкой самих исходников?