Flask-SQLAlchemy is an extension for Flask that adds support for SQLAlchemy to your application. It simplifies using SQLAlchemy with Flask by setting up common objects and patterns for using those objects, such as a session tied to each web request, models, and engines.
Flask-SQLAlchemy does not change how SQLAlchemy works or is used.
Вполне логично, что в проекте без Flask - следует использовать просто SqlAlchemy.
В проекте с Flask - можно использовать Flask-SqlAlchemy. В теории, придётся писать чуть меньше кода, если верить словам из документации
