Добрый день. В airflow есть ДАГ, который выполняет очень простую операцию- пишет датафрейм в таблицу PG.
df = pd.read_json('/home/airflow/data/data.txt')
df = df.drop_duplicates(subset=['id'])
postgres_hook = PostgresHook(postgres_conn_id)
engine=postgres_hook.get_sqlalchemy_engine()
row_count = df.to_sql(pg_table, engine, schema=pg_schema, if_exists='append', index=False)
Airflow выдает ошибку
Pandas requires version '1.4.16' or newer of 'sqlalchemy' (version '1.3.24' currently installed)
Ответ понятен, моей версии pandas нужен sqlalchemy версии больше 1.4.16.
Но командой
pip install sqlalchemy
- получаю ответ
"Requirement already satisfied: sqlalchemy in /usr/local/lib/python3.8/dist-packages (1.3.24)"
Вопрос. Как можно установить новую версию sqlalchemy ?