Можно было не переходить на другую библиотеку а почитать документацию:
https://docs.aiogram.dev/en/latest/api/session/aio...
from aiogram import Bot
from aiogram.client.session.aiohttp import AiohttpSession
session = AiohttpSession()
bot = Bot('token', session=session)
Это решит вашу проблему. И да, сессию не нужно закрывать
