Какое существует ПО для построения информационно-аналитической системы?

Question

[Comrade_Engineer]

Стоит задача разработки информационно-аналитической системы. При этом желательно использовать минимальное количество самописного кода, вместо этого использовать готовые продукты.

Система состоит из нескольких подсистем: веб-сервер, база данных, сервер приложений.
С первыми двумя подсистемами нет вопросов, по поводу наполнения базы информацией тоже все понятно.

Основная проблема с выбором ПО для сервера приложений, который будет выполнять задачи "аналитики" и обработки информации. Операционная система сейчас не важна, подойдет как для Windows так и для Linux. Главное чтобы данное ПО не было облачным, а располагалось на конкретном сервере.

Пример решаемых задач:
- В БД есть информация о включении\ отключении оборудования с меткой времени. Необходимо подсчитать часы работы\ простоя оборудования за день;
- найти корреляцию между двумя параметрами;
- произвольная обработка данных по запросу и возврат рассчитанного значения.

Из других требований:
- ПО должно иметь среду исполнения и среду разработки;
- ПО должно быть относительно быстродействующим;
- ПО должно уметь интегрироваться со смежными системами (API) и работать с БД.

Наверное одним из не плохих вариантов, было использование MS SQL с поддержкой ML, но опять же насколько это правильно выполнять подобные расчеты средствами БД (пусть даже она выделана в отдельный instance на отдельный сервер)?

Прошу поделится опытом, возможно кто-то решал похожую задачу. Буду благодарен, за любой конструктив.

Answer 1

[Василий Банников]

Вы описываете какое-то волшебное приложение, которое умеет работать с любыми данными и делать с ними что угодно.

Такие продукты не совсем существуют.

Скорее всего вам нужна какая-то платформа типа 1С, в которой вы сможете писать свой код для обработки данных.
Но ИМХО смысла в этом нет и вы зря сразу так взяли требование

минимальное количество самописного кода, вместо этого использовать готовые продукты

Брать готовую ОС, СУБД, и веб-сервер - это нормально.
Искать готовое решение прикладных задач - бессмысленная трата времени.

Comments

[Comrade_Engineer]

Скорее всего вам нужна какая-то платформа типа 1С,

Совершенно верно, однако 1С не совсем то что нужно, но смысл примерно такой.
У 1С как раз имеется среда разработки, среда исполнения и скриптовый язык для "непрограммистов" (хотя меня бы устроил и VBA и Python). Самописный код только в части этого скриптового языка для решения конкретных задач, а вот подключения к БД, работа с файловой системой, возможность создания job-ов, их диагностика и прочее должно быть уже реализовано. Естественно что такое ПО будет платным.

Сам сейчас копаю в сторону Apache Spark, но боюсь эту идею забреют. Потому что люди, которые потом будут обслуживать эту систему врядли разберутся в Java коде. Хотя может и удастся обосновать.

[Василий Банников]

Comrade_Engineer, вообще, вроде подобный продукт есть у УЦСБ и АО "Барс груп" - можете им в отдел продаж написать и спросить.

Answer 2

[Saboteur]

kibana

Comments

[Comrade_Engineer]

Спасибо за ответ, но если я правильно kibana - это инструмент визуализации, а мне необходимо определится с "движком" обработчика данных.
Тем не менее, спасибо, с продуктом ознакомлюсь для расширения кругозора.

[Saboteur]

Kibana обычно работает в связке с ElasticSearch. И есть куча аналитических функций.