Решение нашел в итоге через уже упомянутый middleware, выставил
if throttled.exceeded_count <= 10:
await message.delete()
await message.answer(None)
В хэндлере подошло
@rate_limit(5)
Весь блок анти флуда был взят с оффициальной документации
Теперь конкретно у меня после того как пользователи кидают куб, антифлуд начинает срабатывать сразу и чистить все сообщения на протяжении 5 секунд.