Технология для миграции бд с использованием java?

Question

[renniqs]

Всем привет! Нужна помощь в принятии решения, заранее спасибо! Задача состоит в том, что нужно разработать инструмент(сервис) для миграции различных баз данных в реальном(либо приближенно к реальному) времени на Java. Например есть сайт который использует PostgreSQL, его нужно перенести на новый сервер и он уже будет использовать MySQL. На данный момент времени у меня есть несколько вариантов: SymmetricDS, JavaLite, Liquibase, Flyway либо же использовать Hibernate или Jdbc. Разработать нужно с ноля и у меня нет опыта. Есть ли у Вас готовые наработки либо же советы как правильно построить архитектуру приложения и какую технологию лучше выбрать. Мне больше всего понравилось SymmetricDS или Hibernate(но это очередной велосипед). Есть похожее решение . Но нужно свое. Также сколько должно быть человек в команде и за какой период времени реально такое сделать?

Comments

[Сергей Горностаев]

Ничего не понятно из вопроса.
Что в вашем понимании "миграция"?
Какая разница MySQL или PostgreSQL, если для работы с БД используется ORM?
JDBC - это стандарт взаимодействия Java с СУБД, Hibernate - это ORM, SymmetricDS - это система репликации данных, Flyway - это библиотека миграции схем. Как они между собой связаны?
Hibernate - это не велосипед, велосипед - это разработка с нуля.

Чтобы с нуля разработать решение на столько же хорошее, как Hibernate, понадобится команда экстра-профи и пара-тройка лет как минимум.

Answer 1

[aol-nnov]

Liquibase, Flyway используются для, так скажем, эволюции схемы данных в процессе жизни приложения без потери данных.

Эти инструменты не позволяют менять диалект бд. про остальные не знаю.

// Специально построил предложение так, чтобы избежать слова "миграция". Сударь, вы какой смысл в него вкладываете? Давайте переедем с sqlite на оракле?

Answer 2

[Александр Кузнецов]

Если я правильно понял, вам нужен инструмент который в конкретный момент сделает перенос БД с данными на другой сервер/движок. Грубо говоря, сейчас у вас все работает на MySQL, завтра вам дали отмашку - идем на PostgreSQL и на Орасле. А вы - тык и переехали.

Так вот, я нормально работающего такого инструмента не видел. Есть куча, без спорно, но во-первых, большинство желает денег, и, во-вторых, на больших данных часто лагает и просит вмешательства пользователя.

Сам я писал инструмент "перегона" схемы и данных с MSSQL <=> PostgreSQL <=> MSSQL. При этом, данный инструмент только перегонял данные. И там были проблемы, у того же PostgreSQL не отключается проверка внешних ключей, и, соответственно, перегонять схему нужно крайне аккуратно и не в алфавитном порядке.
Пример еще одной проблемы - да больших данных у меня все ложилось и замерило на долгое время (хотя гнал пачками по настраиваемому количеству записей и т.п.).

Схемы БД я переносил другими инструментами, тут вам Liquebase или самописное развертывание схемы из Hibernate.

Comments

[xukapy]

И там были проблемы, у того же PostgreSQL не отключается проверка внешних ключей

Отключается. Достаточно выдать пользователю, под которым осуществляется репликация:

ALTER ROLE symmetricds SET session_replication_role = 'replica';

[Александр Кузнецов]

xukapy,

Вполне возможно, что эта возможность есть.

Тогда (около 6 лет назад), когда разбирались, нормальный вариант, как в том же mssql server, не нашли.

Ну, стоит отметить огромный вклад разработчиков и postgrespro в качество документации.