Судя по тому, что даже создание таблицы и запросы с отлупами выполняются довольно долго - это просто не особо быстрая база.
Учитывая, что запросов у вас в принципе немного - если к прикладным неудобствам это не приводит, вполне можно забить. Когда нагрузка возрастёт и станет ощутимо тормозить приложение - можно будет подумать об оптимизациях или переносе куда-нибудь на нормальное железо.