От этого нельзя избавиться, потому что таблица assets используется для ACL - прав доступа к элементам (материалы, контакты и т.д). Туда же пишется информация сторонних компонентов, если они у себя используют ACL.
Отключить ACL в Joomla, к сожалению, невозможно.
Если найдете такой компонент материалов, который работает без ACL, то вероятнее всего, получите выигрыш в скорости и таблица расти не будет.