Почему слишком большой размер данных после добавления данных в базу?

Question

[Shurik]

Здравствуйте. Развернул окружение с Postgres-ом в докере. Сделал импорт данных из дампа весом около 8 гб в итоге размер базы стал порядка 13 гб, если не память не ошибается. Потом потребовалось обновить данные до актуальных из xml файлов. Удаляю значит старые записи в таблицах и php парсю xml файлы и вставляю в таблицы соответствующие. По кол-ву записей новых данных ну от силы на четверть больше, чем было, а база стала весить вместо 13ГБ 52ГБ. Но откуда такая разница в размерах получившейся базы и той, что была со старыми? Что может оказывать влияние на размер?

UPD: Уточняю данные. Например в первоначальном состоянии самая большая табличка содержала 50млн записей и весила при этом 12гб. После обновления имею 75млн записей и вес 26гб. Хотя следую логике должно стать примерно 18.

И еще сделав запрос размеров табличек в консоли получил вывод попимо самих табличек еще и данные: 'nameTable_nameField_idx' и 'nameTable_nameField_pkey', которые тоже так не хило весят, по 6гб. Первое не знаю что, а второе судя по названию первичный ключ. Неужто он так много занимает места, т.е применимо к описываемой выше табличке в 26гб первичные ключ занимает чуть меньше пятой части самой таблицы....

Answer 1

[Melkij]

Удаляю значит старые записи в таблицах и php парсю xml файлы и вставляю в таблицы соответствующие.

Ну и совершенно закономерно получаете двукратный рост как самой таблицы, так и всех индексов. Всё верно.
Почему? Потому что MVCC. Удаление не удаляет данные, т.к. их может кто-то хотеть ещё прочитать из более старых транзакций, а только отмечает xmax - id транзакции, с которой записи перестают быть видимы. Место занимаемое удалёнными строками будет возможно затем переиспользовать под новые данные после прохода vacuum вручную или автовакуумом.

Индексы, разумеется, тоже занимают место. И по той же самой причине индексы в варианте delete всей таблицы + insert будут занимать вдвое больше места.

Когда вы хотите удалить всё из таблицы - вам нужен не delete, а truncate.

Comments

[Shurik]

Не знал о таком поведении delete. Размер после vacuum уменьшился. Спасибо огромное, а то я думал, что как то не так данные вставляю. Ушел читать документацию)

Answer 2

[Иван Шумов]

Индексы конечно занимают место)