С какими параметрами лучше создать таблицу для максимальной скорости выборки?

Question

[beduin01]

С какими параметрами лучше всего создать таблицу PostgreSQL для повышения скорости индексации\выборки *в ущерб целостности данных*?
Много ли можно выиграть сделав ее не журналируемой? И что еще можно придумать, чтобы максимально поднять скорость выборок?

Есть таблица на на 50+ млн строк, которая продолжает расти и в перспективе будет 100 млн.
По этим данным нужно регулярно делать COUNT(*) чтобы понимать сколько обработано\не обработано данных.

Целостность данных не критична. Если пару записей потеряется ничего страшного. Транзакции к этой таблице не нужны.

На таблице много индексов для повышения скорости выборок. Одновременно пишутся новые данные и их таблицы выбираются еще не обработанные данные.

Comments

[Akina]

Если надо максимально поднять скорость выборок, и при этом наплевать на скорость изменения данных, расход памяти и дисковое пространство - то понаделать кучу композитных индексов. Так, чтобы для любого запроса существовал индекс: 1 - оптимальный; 2- покрывающий.

Если пару записей потеряется ничего страшного.

У сервера БД ничего не теряется. Бывает, правда, что долго ищется...

таблица на на 50+ млн строк, которая продолжает расти и в перспективе будет 100 млн.

Табличка-то, в общем, так, средненькая...

[Василий Банников]

На таблице много индексов для повышения скорости выборок. Одновременно пишутся новые данные и их таблицы выбираются еще не обработанные данные

А точно ли тут нужно именно такое решение?
Можешь чуть подробнее описать.
Пока звучит как решение с какой-нибудь очередью на запись и таблицей на чтение
Может быть вообще нужная какая-нибудь другая СУБД?

Вообще, если целостность данных не важна - просто выставь минимальный уровень изоляции

[Кирилл Горелов]

Уже второй раз смотрю твой вопрос и понимаю, что просто никто не хочет на него отвечать.

Ты бы хоть рассказал, в чем у тебя проблема? Какие данные у тебя, сколько записей...
Хоть что-то.....

[beduin01]

Расширил описание.

[galaxy]

Много ли можно выиграть сделав ее не журналируемой?

Нет. Только запись выигрывает, да и то по тестам раза, может, в два. При нештатном завершении работы сервера все данные потеряются в такой таблице.
Ну можно, конечно, вообще извратиться и создать TABLESPACE в tmpfs...

По этим данным нужно регулярно делать COUNT(*) чтобы понимать сколько обработано\не обработано данных.

Если выборка по всей таблице (или по большей части данных) - это не про постгрес, много раз обсуждалось.
Выход: делать через триггеры таблицу сумм или делать MATVIEW (что равносильно просто периодическому пересчету).
Если выборки относительно небольшие -индексы, индексы, индексы.

[DevMan]

та накидай свою бд на ди или васме.
делов то.

Answer 1

[Fadmin]

Много раз, разные люди, пытались сделать из бд очередь, не получилось.