На уровне файловой системы можно проверять размер, а по достижении определенного порога выдавать уведомление пользователю и ограничивать определенные операции.
mysql не ограничивает размеры БД пользователя.
Выход - ограничить дисковое пространство выделенное конкретной БД.
Например, для пользователя будет создаваться БД users_db. Нужно создать каталог в /var/lib/mysql/users_db и смонтировать туда файловую систему нужного объема.
Если файловая система xfs, то можно просто установить quota прямо на директорию с базой пользователя.