Как ускорить импорт из XML в MySQL?

В итоге забил на прямой импорт XML и сконвертировал в промежуточный CSV из дампа XML, набросав программу на Го. Импортируется за считанные секунды.

Как ускорить импорт из XML в MySQL?

Akina,
запрос был такой

SELECT created_at_timestamp, SUBSTRING_INDEX(user_message_id,'::',-1) as uid, language, full_text FROM some_discord_messages where language is not NULL

full_text - многострочный текст, ни чем не обрамленный.

А вообще - вместо выгрузки в XML результата обычного SELECT надо выполнять SELECT .. INTO OUTFILE, который формирует CSV.

Не могу. Не указал в вопросе, но используется удаленная AWS RDS.
И дамп загружается в локальную БД.

Как ускорить импорт из XML в MySQL?

Akina, не, не понимаю. Особенно когда плохо объясняют.
Экспортировал при помощи
mysql --raw --batch -e "select ..." > dump.xml
Поэтому неясно что такое

при экспорте просто меняем `\r\n`

В моем случае или же указать ключи к mysql или поточно обработать с sed.

Как ускорить импорт из XML в MySQL?

Более 2-х часов, не дождался и прервал.

Как ускорить импорт из XML в MySQL?

Akina,
А что значит

при экспорте просто меняем `\r\n`

Это при помощи sed или как-то по-другому? А то я не понял этой магии.

Как ускорить импорт из XML в MySQL?

Akina,

при экспорте просто меняем `\r\n`

тогда как преобразовать

1,"2000-01-01","Первая строка.
Вторая строка.","2022-02-03 04:05:06"
2,"2000-01-01","гыгы","2022-02-03 04:05:06"

так, чтобы все не слилось в это

1,"2000-01-01","Первая строка.\nВторая строка.","2022-02-03 04:05:06"\n2,"2000-01-01","гыгы","2022-02-03 04:05:06"

Как ускорить импорт из XML в MySQL?

Akina,

Обязательное квотирование строковых значений снимает эту проблему.

Речь про экспорт или про то как должны были храниться данные изначально, до экспорта? Если первое, то мне это интересно.

Как ускорить импорт из XML в MySQL?

Akina,

Использовать XML как промежуточный текстовый формат для переноса данных MySQL -> MySQL - это в высшей степени странное решение.

Дамп взят с продакшн сервера. Сначала пробовал экспорт в TSV, но из-за переноса строк текста full_text нарушался формат.

Как ускорить импорт из XML в MySQL?

Предположительно, тебе загрузку замедляют 2 индекса по id, uuid. Выключи их.

Пробую. Спасибо.

Верно ли то что в go нет конкретной структуры проекта?

GavriKos, ну так я о том же. Есть фреймворк - есть соглашение.

Как нейросеть научить понимать текст?

https://ru.wikipedia.org/wiki/%D0%A1%D1%8F%D0%BE%D...

Как оптимизировать вызов сервиса и снизить потребление памяти?

Это не похоже на ответ, поскольку не приводится решение обозначенной проблеме.
Что было предпринято для решения? Что помогло?

Как дать доступ к контейнерам в локальной сети?

Отформатируй код в тег кода

Есть ли единый сервис синхронизации бронирования отелей?

Не Facebook подстраивается под разнообразие рынка, а рынок подстраивается под API который предоставляет Facebook. Аналогично может быть и с сервисами для бронирования мест.
Напишите спеку OpenAPI.

Нужно запустить на сервере более 2000 фоновых процессов. Какие подводные?

soundie
А что мешает отправить 20-25 метрик за один запрос?
И есть ли уверенность в том, что все датчики будут отправлять синхронизированно? Есть шанс того, что они будут отправлять метрики в разнобой, и, при этом, с заданной периодичностью.

Как оптимизировать вызов сервиса и снизить потребление памяти?

Покажи код или хотя бы псевдокод.

Нужно запустить на сервере более 2000 фоновых процессов. Какие подводные?

Господа pfg21, mayton2019, а почему побоялись оформить в качестве ответа?

Где можно почитать про highload человеку, который с этим никогда не сталкивался?

А этот ресурс еще жив?

Не понимаю почему не могу зайти на свой акаунт Heroku?

Надеюсь, что нет. У них сбой какой-то, возможно.

Не понимаю почему не могу зайти на свой акаунт Heroku?

Bogdan Buchko,
Этот вопрос нужно адресовать Heroku.
У коллеги, которого включен MFA логин работает.