Какое выбрать решение для синхронизации и анализа данных (ESB, EAI или другое)?

Question

[Павел Тысляцкий]

У партнеров моего заказчика данные храняться в разных базах, или файлах (postgresql, oracle, mssql, mysql, dbf, csv), или дается доступ к данным через API. Мне нужно получить данные, преобразовать их, отправить в базу заказчика и еще проанализировать.

Если напрямую, то решение кажется следующим: с помощью протокола репликации или тригиров получаем данные из баз для SQL, для файлов можно воспользоваться чем-то наподобии diff. Затем данные преобразуются в вид, которых хранится у заказчика и заливаются в базу заказчика. Анализ производится с помощью pandas, apach pig или чего-нибудь другого.

Я нашел информацию, что существуют всякого рода Enterprise Application Integration и Enterprise Service Bus, также сущестуют решения для репликации разных типов баз данных как SymmetricDS.

Немного посмотрев на Talend, Mule ESB, Fuse ESB, Apache ServiceMix, Zato я понял, что порог вхождения в них достаточно большой.

Подумав, я составил требования к системе:

1. Синхронизация данных
   
   • Синхронизация транзакционнх SQL баз с использованием репликации или триггеров
     
   • Обработка файлов и API
     
   • Хранение копии данных в системе для анализа
     
2. Целостность данных
   
   • Ссылочная целостность
     
   • Транзакционность
     
3. Преобразование данных
   
   • Простое добавление новых партнеров
     
   • Настройка преобразование данных партнера к данным заказчика
     
   • Применение изменений на лету
     
4. Мониторинг здоровья сервиса
   
5. Расширяемость
   
6. Безопастность
   
   • Использование шифрования
     
   • Простое добавление ноды на стороне партнера для проксирования при отсуствии прямого доступа к базе
     
7. Анализ данных с помощью pandas, apache pig или другого
   

Возможно кто-нибудт подскажет максимально простое решение максимально покрывающее мои требования или кто-нибудь может рассказать/подсказать как с помощью какого-нибудь конкретного инструмента можно решить/облегчить решение задачи?

Answer 1

[MioGreen]

Интересно была ли решена проблема. Если да, то просьба описать решение.

Для своего сценария интеграции нескольких сущностей из Битрикс24 и сущностей в собственной ERP системы заказчика, также ищу наиболее простое решение. В рунете подобных решений не обнаружил.

Вот отобранный список зарубежных серверов:
help.mydbsync.com/docs/display/dbsync/Home
www.jitterbit.com/integrate
www.informaticacloud.com/products/cloud-services/d...
www.onesaas.com
www.skyscapecloud.com/software-as-a-service/sync-a...

Но прихожу к мнению, что надо разрабатывать самому. Возможно стоит скооперироваться и решить наши проблемы совместной разработкой.

Comments

[Павел Тысляцкий]

Задача была заморожена, но то к чему пришли из синхронизации (без мониторинга и анализа):

• Решения основовные на репликации:
  
  • Tungsten Replicator (code.google.com/p/tungsten-replicator/)
• Решения основанные на тригерах:
  
  • SymmetricDS (www.symmetricds.org/) - пробовал, в целом не плохо, только sql
• Решения основанные прямой выгрузке всех данных (или с ограничениями если есть соответсующие поля):
  
  • Pentaho Data Integration (community.pentaho.com/) - пробовал, не сильно понравилось, тк меcтами пришлось делать те же тригеры
  • Talend Data Integration (www.talend.com/products/data-integration)
  • Jaspersoft ETL (community.jaspersoft.com/project/jaspersoft-etl)
  • Clover ETL (www.cloveretl.com/)

К сожалению Ваши примеры вроде бы не попадались, так что сказать что-то сложно.

[MioGreen]

Спасибо большое за ответ. Придется еще искать, либо все же писать самому.