Долгое чтение из Postgresql?

Question

[Dauren S]

Есть Таблица в Postgresql , в которой нет индексов, потому что идет массовая запись и индексы замедляют сильно insert. Но без индексов очень долгое чтение. Является ли решением подключить elastic search , чтобы через него делать поиск? И будет ли он делать репликацию и хранить данные у себя ? Или же как то создаст индексы? Подскажите как можно решить проблему с чтением данных из Postgresql.

Возможно Sphinx или mongo?

Comments

[galaxy]

elastic search - про полнотекстовый поиск (да, у нее своя document-oriented БД, данные придется синхронизировать).

У вас там что за чтение? Примеры запросов?

идет массовая запись и индексы замедляют сильно insert.

Прям сильно? Измеряли? INSERT какого характера - единичные запросы или массовая загрузка?

[Everything_is_not_so_bad]

Сколько записей пишется массово за один запрос?

[Dauren S]

Роман Мирр, 10 gb каждый час, без индексов 8 мин, с индексами 23 - 30 мин. Потом в 23 59 truncate и все по новой

[Dauren S]

И да с индексами чтение где то 2 сек, без индексов 120 -140 сек

[galaxy]

Dauren S,

10 gb каждый час, без индексов 8 мин, с индексами 23 - 30 мин. Потом в 23 59 truncate и все по новой

т.е. все-таки массовая загрузка.

Нет, никакие сфинксы/эластики тут не помогут, ниже Сергей Горностаев правильно написал - им тоже строить индексы или дописывать в них.

Покажите схему таблиц и индексов, запросы на вставку и чтение.

[Dauren S]

galaxy, Спасибо большое!

[Everything_is_not_so_bad]

Dauren S,

идет массовая запись и индексы замедляют сильно insert.

1. А на что влияет медленная вставка данных? Нужно обязательно дождаться окончания операции или это может быть асинхронной операцией?
2. так и не получил ответа по сколько записей идет массовая запись. По тысяче? Больше?

Answer 1

[ky0]

Если индексы сильно замедляют запись - нужно разбираться с производительностью базы. Приведите цифры - размер данных, нагрузку, что за железо и как настроена СУБД.

Comments

[Dauren S]

500 gb SSD, 4 ядра, 4 Гб оперативки, 10 Гб пишется каждый час, общий объем за день около 250 гигов. Потом все чистится и заново пишется.
Postgresql 10 , centos 8. Особо базу не настраивал, просто установил , настроил доступ .

[ky0]

Dauren S,

Особо базу не настраивал, просто установил

Ну вот и ответ. Настройте базу, подумайте насчёт увеличения памяти, если индексы не будут в неё помещаться.

Насчёт нагрузки - хотелось бы, конечно, не в гигабайтах в час, а в запросах в секунду.

Answer 2

[Сергей Горностаев]

Движки полнотекстового поиска не строят индексы быстрее.

Answer 3

[ThunderCat]

Как вариант - не писать в бд, а писать в файл, тогда сфинкс будет самое то.