Работа с различными источниками данных в одной среде?

Question

[Ivan]

Добрый день!
Подскажите есть ли какая нибудь среда работы с данными в которой можно было бы подключаться к различным источникам и одновременно получать и обрабатывать данные? К примеру есть базы данных postgre, mysql и таблицы dbase, нужно написать запрос в котором участвуют данные из всех трех источников.

Comments

[German Jet]

Power BI Desktop может?

Answer 1

[Иван Шумов]

JetBrains DataGrip, например?

Comments

[Ivan]

А чего нибудь из мира opensource есть?

[Владислав Лысков]

базы данных postgre, mysql и таблицы dbase, нужно написать запрос в котором участвуют данные из всех трех источников.

и как датагрип поможет сделать такой запрос?

[Иван Шумов]

Владислав Лысков, я предложил посмотреть подойдет ли) просто помню что это централизованная тула от JB, а эти ребята умеют в хороший софт

[Иван Шумов]

Ivan, вообще обычно эта проблема решается не так, а сливаются данные в один WareHouse (DWG) и работается уже с ним

[Ivan]

Иван Шумов, Софт то хороший но он платный, есть что нибудь юзабельное и не платное, хотя бы в урезанной версии?

[Иван Шумов]

Ivan, понятия не имею, мне иногда не было интересно

[Ivan]

Иван Шумов, Это хорошо когда есть некая точка останова потока данных, а когда на живую надо данные получать?

[Иван Шумов]

Ivan, а это называется "я надумал что мне это надо"

[Ivan]

Иван Шумов, Что простите я надумал?

[Иван Шумов]

Ivan, каждый раз когда люди говорят эту фразу это значит что они не осознают что делают и пробуют сделать "как умею". Доступ к данным в продакшн - опасная вещь и за это я своим коллегам обычно по рукам бил

[Ivan]

Иван Шумов, Я понимаю, но данные нужны для аналитики и берутся в режиме чтения, а не правки, зачем же за такое по рукам бить?

[Владислав Лысков]

Иван Шумов, софт отличный, не спорю, и он вроде как во все платные IDE от JB, но то, что хочет автор, это конечно дичь, и я не думаю, что такое возможно, ну кроме конечно

вообще обычно эта проблема решается не так, а сливаются данные в один WareHouse (DWG) и работается уже с ним

и мне стало интересно, как эту задачу можно решить при помощи датагрипа (подумал вы решали)

[Ivan]

Иван Шумов, Я так понял только дампить, собирать в единую базу и только после этого обрабатывать, по другому никак?!

[Иван Шумов]

Ivan, за тем что это не безопасно. Права имеют свойство меняться и их случайно можно переназначить, доступ из другой сети это вообще целая стопка уязвимостей. В общем, проблемы создать можно на ровном месте вообще. Не говоря уже о том что аналитика имеет характер тяжелых сложных запросов, которые могут как просто помешать нормальной работе сервиса так и в принципе положить положить виртуалку с БД. Аналитику жато проводить ТОЛЬКО на отдельной машине, а в идеале еще и на базе данных, подходящей для OLAP, а не OLTP

[Иван Шумов]

Владислав Лысков, не решал, но у меня есть подозрения как это можно сделать. Как минимум по той причине что ядро на котором JB делает продукты система модульная и там тонна подключаемых плагинов

[Иван Шумов]

Ivan, не обязательно дампить. Можно делать репликами, можно подключить в Kafka и через нее переливать данные в другое хранилище. Опций валом

[Ivan]

Иван Шумов, Спасибо, за ответы!