так как в базах 1С нет чёткой схемыэто необходимо для обфускации или просто так галимо спроектировано?
Какого размера этот XML файл?Размер около 85 МБ. Копируется почти незаметно на глаз, накопитель HDD.
Сколько времени ты этот XML файл просто копируешь с диска на диск?
В первом варианте 362 тыщи строк за 6 часов. Тоесть твой конвейер загрузки отрабатывалЯ не вижу в чем мог схитрить. Замеры делал не я, а mysql. Я не грешу на скорость чтения с накопителя. Скорее всего из-за нагрузки на CPU медленно. Даже не знаю что там в импорте может быть так медленно.
примерно 16 строк в секунду. Это - черепашья скорость. Возможно ты хитришь и просто собрал конфигурацию на ноутбуке
SELECT created_at_timestamp, SUBSTRING_INDEX(user_message_id,'::',-1) as uid, language, full_text FROM some_discord_messages where language is not NULL
А вообще - вместо выгрузки в XML результата обычного SELECT надо выполнять SELECT .. INTO OUTFILE, который формирует CSV.Не могу. Не указал в вопросе, но используется удаленная AWS RDS.