connection to server at "db" (172.24.0.3), port 5433 failed: Connection refusedТут напрямую говорит вам, что проблема в подключении к БД, т.е. идёт попытка коннекта к 5433, но на нём либо ничего нет, либо соединение блокируется( в большинстве случаев там ничего нет)
ports делает соответствие между портами на хосте и в контейнере соответственно, внутри докерной сети ничего не меняется. Потому в sqlalchemy.url оставляйте 5432