Как можно исправить проблемы с кодировкой данных в pandas при записи в Postgresql?

Question

[Олег Кулаков]

Скачиваю данные по ОКАТО с этого ресурса https://rosstat.gov.ru/opendata/7708234640-okato.
Кодировка файла - windows-1251
Далее создаю Dataframe и пишу в БД PostgreSQL:

import pandas as pd
df = pd.read_csv(target_link, encoding="windows-1251", delimiter=";")
df..to_sql(...)

При выполнении этого кода в Jupyter Lab на своем ноутбуке получаю в бд записи с корректной латиницей.
Однако когда запускаю этот же код на сервере в Apache Airflow то получаю следующую картину в бд:

Не могу понять в чем проблема?

Мой ноут
OS - macOS Monterey 12.1
Python version 3.9.7
Pandas version 1.3.4

Сервер:
Python version 3.7.10
Pandas version 1.1.4
Airflow version 1.10.15

в обоих случаях использую одну и ту же бд. Кодировка в БД - UTF-8

Comments

[AVKor]

Кодировка файла - windows-1251.

Пора перестать пользоваться давно морально устаревшими кодировками. Конвертируйте.

[PavelMos]

Скрипт на сервере вообще что-нибудь в Windows1251 корректно выводит ?

[Олег Кулаков]

нет