D_E_S:
tsvector - не индекс, это лексер (для него тоже индекс нужен)
Даже если индексы созданы, значит фильтры такие что psql их не использует, например если вы в запрос с tsvector добавите какое-то условие (create_date < $date или status = 7), то этот индекс уже может не покрывать запрос, и psql будет пробовать другие запросы или делать полный перебор. Делайте анализ запросов.
Самое простое с чего можно начать, собрать статистику длительности запросов, например если это веб, то добавить в логи nginx/веб сервера.
Далее спарсить логи и выявить самые тормознутые запросы, и их оптимизировать. Самые тормознутые запросы чаще всего и создают проблему.