lega

Разными таблицами должно быть лучше, ещё можете попробовать партицирование и сжатие.

получить строк 20-30 тыщ за пару секунд

Если у вас данные выбираются пачками, например по дням, то можно их хранить по дням при этом сжимать (если там текст, то сжать можно в 10-30 раз), таким образом выборка будет быстрее (экономия io), занимаемое место и индекс будет сильно меньше.