Какие есть подходы к реализации универсального хранилища данных для отчетов и статистик?
Доброго времени суток. Занимаюсь разработкой узкоспециализированной CRM под нужды заказчика.
Часто возникает необходимость формирования разного рода статистик и отчетов. Зачастую имеющихся в базе данных не достаточно для формирования необходимой статистики и возникает необходимость добавлять в бизнес логику журнализирование конкретных данных. На выходе я получаю то, что для каждой статистики приходиться создавать свою логику и инфраструктуру, а так же поддерживать ее в индивидуальном порядке.
Меня это не устраивает и я начал предпринимать попытки к реализации универсального хранилища для статистически данных. Однако чем больше я проектирую это хранилище, тем больше у меня возникает вопросов и понимания того, что эта задача достойна более серьезного подхода.
Ребят, подскажите, пожалуйста какие статьи или книги можно почитать на эту тему?
Спасибо за ответ. Я мельком ознакомился с ClickHouse и начал слушать интервью. Сложилось впечатление, что все это скорей о том, как реализовать хранение статистики с точки зрения ресурсов. Но будет ли этот инструмент полезен с точки зрения упрощения работы с данными?
Спрашиваю потому, что для приложения над которым я работаю важней стоимость поддержки решения, чем его производительность.
bushart: помню что это универсальное решение для аналитики. Многое зависит от природы данных и способа доступа к ним. Есть ещё БД временных рядов, TSDB.
Простой
Простой
Простой
