Как ускорить перенос данных из MSSQL в MySQL?

Question

[Emix]

Из базы данных MSSQL делается дамп таблиц в .CSV и на другом сервере загружается в MySQL, последнее время таблицы стали очень тяжелыми и такая загрузка тянется час.

Проблема что в момент импорта MYSQL сильно нагружается и гооврит клиентам mysql server has gone away

Answer 1

[Илья С]

1. Размазать нагрузку по времени. Переносить данные чаще меньшими порциями, чтобы не нагружать основную БД на час.

2. Построить архитектуру мастер-реплика. Писать только в мастер. Читать только из реплики. Тогда у пользователей реплики не будет проблем "mysql server has gone away".

3. При переносе запись происходит в те же таблицы, из которых читают пользователи? Возможно стоит писать в какие-то временные таблицы и после завершения подменять их. Чтобы не блокировать основные таблицы.

Ну и собственно - что вообще побудило построить такую странную архитектуру, где надо переносить большой объём данных из одной БД в другую не регулярной основе?

Comments

[Emix]

1. Обновления и так уже размазаны

2. Это хорошая идея, но тут вопрос, ну будет ли тоже самое при репликации из мастера в слейв?

3. Перенос происходит в временную таблицу, после импорта она переименовывается в ту которую смотрели юзеры

4. Легаси в котором источник данных не хочет выгружать дельту, приходиться каждый раз выгружать все таблицы

[Илья С]

Emix,

2. Нет, не будет. Но будет небольшой лаг - данные в слейве будут появляться чуть позже чем в мастере.

3. Тогда почему сервер падает? Не хватает памяти? Очень странно.

Вообще, мне больше понравился ответ Рональд Макдональд . По сути вам предлагается написать свою репликацию из MSSQL в MySQL. Не обязательно питон, подойдёт любой ЯП.

Answer 2

[Одиночка Айс]

Heidi SQL - справляется с большими базами, хотя... Если они у вас сотни гигов, то не знаю))

Comments

[Илья С]

Это просто клиент для работы с БД. Вообще никак не относится к процессу переноса.

[Одиночка Айс]

Илья С, Ну, я бы поспорил, что не относится. Порой очень выручает при больших БД

[Илья С]

Одиночка Айс, человеку надо сделать автоматическую интеграцию двух баз. А ты предлагаешь GUI клиент. Он ручками будет несколько раз в день переносить базы? Это раз. А второе - этот клиент не делает ровным счётом ничего такого, что нельзя было бы сделать без него. Это просто красивая обёртка.

Удивлён, что ТС пометил твой ответ.

Answer 3

[toxa82]

mysql server has gone away это ошибка когда у вас запустился скрипт, вы подключились к БД, потом долгое время её не используете (например распаршиваете файл и подготавливаете данные), и по истечении времени (wait_timeout) БД закрывает коннект, а вы пытаетесь с ней работать. Тут несколько вариантов решения, или проверять соединение и переподключаться при обрыве, или увеличивать время в настройке wait_timeout.

Answer 4

[Владимир Коротенко]

Выбросьте этап экспорта.
Настройте репликацию, с помощью вот этой утилиты.
Тогда у вас будет передаваться не вся база а только изменения
https://www.symmetricds.org/doc/3.12/html/tutorial...