Почему не срабатывают некоторые параметры pandas.read_excel?

Question

[Сергей Еремин]

Наверняка лузерский вопрос, но что-то не гуглятся ответы.

Не срабатывают параметры convert_float, date_parser и parse_dates.

• convert_float=True -- не все целочисленные значения excel превращаются в целочисленные. Часть остается с плавающей точкой. Например, значение 10 в excel превращается в 10.0... И видно, что в общем тут целое, но почему-то pandas не преобразовало. А другие значения, которые при convert_float=False не преобразовывались -- действительно становятся int
  
• Как работают date_parser и parse_dates -- вообще не понял. Установка parse_dates в True или False -- ничего не меняет. В обоих случаях даты превращаются в целочисленные значения (иногда с отрицательным знаком, и даже convert_float на них не влияет). Как заставить срабатывать функцию через date_parser -- не понял.
  

Для примера код.

import pandas
from datetime import datetime


def date_format(date):
    # return date.isoformat()
    return 'TEST'


def main():
    # ...
    # ...
    xls_imported = pandas.read_excel(args.XLS_FILE, sheet_name=4, na_values=None,
                                     convert_float=True, mangle_dupe_cols=True,
                                     date_parser=date_format, parse_dates=True)

Answer 1

[kamenyuga]

convert_float - в pandas тип одинаков для всех значений в столбце - в столбце есть значение, которое нельзя преобразовать в int. Чаще всего такое бывает, когда в столбце пропущено значение, т.к. пустое значение - это нампаевский NaN типа float.

parse_dates - передается список номеров или названий столбцов, которые необходимо распарсить в дату - отдельные столбцы или группы столбцов, если дата распределена по нескольким.

date_parser - дефолтный парсер нормально работает, хотя и сильно увеличивает время загрузки данных. Имеет смысл парсить даты отдельно после загрузки, если объем большой.

Comments

[Сергей Еремин]

Т.е. parse_dates предполагает, что я знаю какие столбцы есть в таблице... А если я этого не знаю? Могут прилететь любые таблицы и где у них и в каких ячейках даты, неизвестно...

Парсить даты после загрузки -- хороший ход. Для поиска int -- это сработает. А вот для дат как быть? Даты представляются целыми цифрами и как тогда дату отличить от int??

[kamenyuga]

Сергей Еремин, если могут прилететь любые таблицы с датами в любых столбцах и это эксельки, то лучше их читать с дефолтными настройками - столбцы с датами pandas умеет находить в эксельках.

[Сергей Еремин]

А как узнать у pandas, что перед тобой именно дата? Просто попробовать преобразовать и ловить исключения??

Исторические и текущие данные, у которых формат иногда меняется, заполняются часто с ошибками или неаккуратно (в основном ошибки форматирования... не в ту колонку данные занесут... или в одной таблице часть данных удалят, а в другой появятся)... И еще все это от разных источников... Хочется находить в этих разных источников общее, ловить изменения во времени, находить когда появляются и корректируются ошибки (и ошибки ли это)... ну и т.д.

[kamenyuga]

Сергей Еремин, pandas - это ни в коем случае не универсальный парсер. И вообще не парсер. А табличное представление данных и работа с таблицами. Как эксель, только попроще, без гуи и внутри питона. Основная структура данных в pandas - это таблица с данными одного типа внутри каждого столбца. За именно чтение и парсинг отвечают сторонние инструменты.

Если на вход попадают именно эксельки, то лучше всего их читать с дефолтными настройками. Pandas самостоятельно спросит у эксель тип данных в каждой ячейке. Если там полная каша, то все они потом преобразуются в строки с адекватными значениями. Но все же строки. Не подходит - читай построчно - все типы данных сохранятся. Потом их можно/нужно как-то отфильтровать/почистить/собрать, тут главное не пересечь тонкую грань между плевым делом и невозможным.

[Сергей Еремин]

Ну я рассчитываю, что и сам Pandas удастся привлечь к анализу данных попозже, а пока пробую только read_excel ... Ощущение, что он быстрее чем xlrd, и точно больше форматов может читать.

Данные в столбцах путают редко. Но самое частое -- даты. Например, может стоять просто год (1995) и тогда это int, может стоять "июн.95" -- и тогда это строка, а может натурально дата 21.06.1995... иногда вообще ничего нет... еще путают запятые и точки в цифрах... иногда пару нулей от души добавят... как-то так... :))