Ответ будет не однозначный. Зависит от того как написан скрипт вывода данных из таблицы. Так же зависит от вашего железа.
Так же очень важно сколько строк в БД, если миллион,то стоит кешировать, потому что постоянно делать запрос к такой таблице это будет накладно по времени.
Очень мало данных в вопросе.
К примеру моя история. Интернет магазин на битрикс. Имеет 6 миллионов картинок и все картинки в одной папке. Это один минус подхода к созданию сайта. Использование не самых удачных функции битрикса для запроса данных из инфоблоков, И 404 страница грузилась при любых не найденных файлах и выводила весь каталог.
Итог, три проблемных места в работе сайта, которые тормозили ответ от сервер на 6-9 секунд.
Провели не самый глубокий рефакторинг кода и сократили до 1,5 секунд. Подключили кеширование - 0,4 секунды, загрузка страницы.