Как, при использовании метода pandas.read_excel(), применить аргумент converters ко всем столбцам?

Question

[Данил Самодуров]

Здравствуйте. В документации к pandas.read_excel (https://pandas.pydata.org/pandas-docs/stable/refer...) говориться, что в качестве аргумента при чтении из excel может быть указан аргумент converters в который нужно передать словарь, где ключами могут быть метки столбцов, а значение – функция, которая будет преобразовывать значения в DataFrame. Например

converters={'Дата': lambda x: x.strftime('%d.%m.%Y')}

А что, если я хочу конвертировать значения во всех столбцах или в каком-то большоv диапазоне столбцов. Как я это могу сделать?

Answer 1

[Алан Гибизов]

нужно передать словарь, где ключами могут быть метки столбцов

именно это и надо сделать - передать словарь, в котором в именах ключей названия всех столбцов или какого-то большого диапазона столбцов.

Comments

[Данил Самодуров]

Я это понял, а что если я не знаю имен столбцов, пока не открою excel в python (чисто гипотетически)? И что если там тысячи столбцов? Как мне ко всем столбцам одновременно применить одну функцию конвертирования?

[Алан Гибизов]

Данил Самодуров, в принципе, можно открыть, получить список, создать словарь и потом открыть ещё раз, с обработкой.

[Данил Самодуров]

Алан Гибизов, да, это можно, но... есть ли другой способ?

[Алан Гибизов]

Данил Самодуров, а как вы это себе представляете? Ладно, если все колонки обрабатывать... можно предположить какой-либо .all, а если не все?

Answer 2

[Andrey Dugin]

Что мешает сначала считать данные, а потом конвертировать?

Comments

[Данил Самодуров]

Некоторые данные pandas ошибочно будет считывать в неверном типе. Как, например, три числа, разделенных точками он будет читать как datetime тип, хотя в таблице excel это представляется не как дата

[Andrey Dugin]

Данил Самодуров, используйте параметр parse_dates=False. Кроме того, можно всё считать как строки.

[Данил Самодуров]

Andrey Dugin, как можно все считать как строки? Я пробовал несколько вариантов – не получалось

[Andrey Dugin]

Данил Самодуров, параметр dtype в вызове pd.read_excel():
https://pandas.pydata.org/pandas-docs/stable/refer...

[Данил Самодуров]

Andrey Dugin, и об этом я знаю. Но там тоже требуется словарь, где ключи это названия столбцов, а значение - тип данных. Вопрос то в том, как применить этот тип сразу ко всем столбцам.

[Andrey Dugin]

Данил Самодуров, я вам даже ссылку дал:

Разве там написано "требуется словарь"?

[Данил Самодуров]

Andrey Dugin, да, понял. По правде говоря, я это уже делал и делал правильно. Но, как я только что выяснил, если в самом excel ячейки имеют не текстовой тип, то при загрузке в dataFrame они будут отображаться не точно так же, как в excel например, у меня был столбец с датами, где даты были записаны в виде дд.мм.гггг. Этот столбец имел тип Дата. При загрузке документа в DataFrame он преобразовывался в вид гггг-мм-дд 00:00:00 и имел тип. Я полагал, что если я установлю в атрибутах dtype=str, то документ прочитается верно, но после этого вид был опять гггг-мм-дд 00:00:00, а тип уже как . Проблема устранилась, когда весь excel был преобразован в текстовой тип.

[o5a]

Данил Самодуров, в документации про это написано

If you don`t want to parse some cells as date just change their type in Excel to “Text”.