По-хорошему вам надо запоминать дату последнего сообщения (message.date). Использовать для этого можно какую-либо базу данных.
Но в самом aiogram есть такая штука, как
Finite state machine. Если вкратце, то это способ "запомнить" какие-либо состояния/данные для каждого пользователя.
неплохо об этом рассказано
тут, но оттуда вам нужны только методы
state.update_data() и
state.get_data()
Разбирайтесь