Как объединить две большие таблицы в одну?

Question

[Andrey]

Приветствую,

Есть две таблицы размерностью 20 млн и 10 млн записей соответственно
Первая таблица содержит 5 полей, вторая 3 поля которые также содержит первая таблица

Есть ли какой-то вариант объединения таблиц в одну и с правильным соотношением полей ?

Comments

[47911]

Перезаписывать данные надо? В таблице 2 - все поля есть и в таблице 1?

[Andrey]

47911, надо объединить без учета дублей
Да, первая таблица содержит все поля которые есть во второй

Классический UNION не вариант - слишком долго

Данная операция требует повторения с некой периодичностью

[47911]

seven5674
и каждый раз обьединять "20 млн." с "10 млн"? Или оно накапливается?(в смысле сначала 20+10, потом 30+10, 40+10?)
Сколько времени приемлемо?30-60 минут подойдёт?

Answer 1

[d'Ivan]

В таблице с 5-ю полями (A) создать уникальный индекс по общему/им идентификатору/ам.
Затем

INSERT OR IGNORE INTO A (col1, col2, col3)
SELECT col1, col2, col3 FROM B;

Как то так.

Comments

[Andrey]

Спасибо, работает но занимает ~90 сек

Хотелось бы сделать две вещи
1. Сократить время
2. Вынести это дело в консоль

[d'Ivan]

работает но занимает ~90 сек

1. Сократить время

Эта миграция разве не разовая операция? Отчего это так важно?

Нужно больше деталей про сами таблицы и размер данных (т.е. файла).
.schema TableName

2. Вынести это дело в консоль

sqlite3 file.db "sql query..."

[Andrey]

Эта миграция разве не разовая операция? Отчего это так важно?

К сожалению нет. Так уж построен процесс и фиг его поменяешь
Изначально БД формируется из csv фалов которые формируются с некой периодичностью . Так как структура файлов разная то и получается две таблицы

sqlite3 file.db "sql query..."

Увидел. Спасибо. Импорт из csv ей и делается.
Сейчас добавлю sql query посмотрим сколько будет занимать по времени

[d'Ivan]

seven5674,

работает но занимает ~90 сек

для импорта 10 М это не долго. В любом случае, импорт может занять столько, сколько ему нужно занять и на пользователя это никак не должно влиять, если делать правильно.

[Andrey]

В любом случае, импорт может занять столько, сколько ему нужно занять

все таки нативные приложения работаю быстрее. сейчас процедура объединения занимает меньше минуты против ~90 сек (общее кол-во записей 30 млн)

жаль что

.mode csv
.import file.csv

не производит сопоставление полей

В любом случае спасибо

[d'Ivan]

seven5674, импортируй из CSV (например, прайс-лист) в новую таблицу, а оттуда в общую таблицу.

все таки нативные приложения работаю быстрее

Дело не в этом.
библиотека SQLite выполняет
операции достаточно эффективно. Вопрос в том насколько эффективно хранятся данные в обеих таблицах из-за используемых типов данных и сколько самих данных. Ответа на вопросы пока не получил.

[Andrey]

Ответа на вопросы пока не получил.

ну так импорт csv файлов происходит по схеме указанной выше
по итогам импорта они все поля "text"

создать предварительно таблицу не представляется возможным - так или иначе поля меняются практически постоянно. константа лишь только то что все поля из таблицы B есть в таблице А