Заливка данных из разных источников для последующего анализа?

Question

[elessar elfstone]

Всем привет! На работе(телекоммуникации) дали задание: для анализа причин оттока клиентов в сегменте B2B необходимо организовать витрину данных. Причем здесь данные как из внутренних инф. систем(БД по большей части ORACLE), так и из внешних источников(различные сайты, сервисы налого-правового характера). Сходу у меня возникло решение примерно такое:
- в качестве БД для хранения выбрать PostgreSQL
- написать на Python приложение которое бы заливало бы данные из внутренних бд и из вне
- организовать весь процесс в очередях

Данных много, поскольку это и сами абоненты-клиенты и куча инфы с историей их начислений и оплат, установок устройств, заключении контрактов, разрывы контрактов и т.д.

Хотелось узнать, как это можно было бы сделать наиболее правильно с точки зрения продуктивности и поддержки. Или в какую сторону смотреть вообще. Поскольку опыта в этом деле маловато, собственно возник вопрос. Советы по дальнешему анализу данных приветствуются . Заранее спасибо.

Answer 1

[Felix_vek]

Для этого, рекомендую Вам использовать инструменты power bi. К примеру от Microsoft
Данный продукт поддерживает многочисленные источники он-лайн импорта, в том числе и SQL, а так же их синхронизации данных из различных источников

Answer 2

[Даниил Бабкин]

Используемые инструменты зависят от нескольких вещей:
1. Опыт работы с базами (вас или вашей команды)
2. Опыт работы с аналитическими инструментами, умение видеть связи в колонках цифр и пр.
3. Четкость поставленных задач и четкое понимание, что вам нужно

Если опыт мал или просто не знаете, как подступить к задаче - используйте, как правильно отметил Felix, MS Power BI. Отличный инструмент для базового анализа и разведовательных графиков (выводите данные в сотне разных разрезов и быстро просматриваете, анализируя динамику, связи и пр).
Если опыт большой и есть четкое понимание, что вы хотите видеть, то используйте Excel с набором правильно составленных запросов. На выходе вы получите корректно сформированные массивы данных. Дальше с этим массивом делайте, что хотите - хоть в MS Power BI лейте, хоть обрабатывайте в рамках Excel.