Как из pdf-файла спарсить таблицу, размещенную на двух страницах и сохранить в Excel?

Question

[Vladimir Mikushkin]

Есть pdf-файл с таблицами. Требуется одну из таблиц, размещенную на двух листах поместить в один файл Excel.
С использованием tabula и pandas получается через два датафрейма вытащить таблицу и экспортировать в csv-файл, применяя для второго mode='a'. Потом переэкспорт в Excel.
Есть ли вариант напрямую экспортировать в Excel без лишних бубнов?

Comments

[Денис _______________]

Abbyy FineReader

Answer 1

[Максим Припадчев]

Когда у вас есть два пандас фрейма конкатенируйте их с помощью pd.concat и записывайте объеденный фрейм напрямую в excel.
псевдо код будет что то вроде этого.

final_df = pd.concat([df1,df2], ignore_index=True)
final_df.to_excel('имя файла')

Все быстро и удобно без лишних записей в csv. Самое сложное это установка tabula бывает капризничает. Но в остальном все просто.

Comments

[Vladimir Mikushkin]

Туплю - не могу добиться, чтобы он не воспринимал первую строку части таблицы на второй странице, как заголовки столбцов

[Vladimir Mikushkin]

pdf_files = glob.glob('./source/*.pdf')
pdf_tables = tabula.read_pdf(pdf_files[0], multiple_tables=True, lattice=True, pages='all')

Может быть неправильно команду задаю для определения, что продолжение таблицы это не новая таблица. Хотя навряд ли tabula как-то это поймет.

[Максим Припадчев]

Vladimir Mikushkin, Ну мне без кода конечно же тяжело отвечать на такую проблему. ну если я вас правильно понимаю. то вот накидал трюк.

columns = df1.columns
df2 = df2.reset_index(drop=True).T.reset_index(drop=True).T
df2.columns= columns

затем то что в ответе. Ну проверьте второй датафрейм должен поправится его имена колонок должны стать такие же как у первого, а его старые имена колонок должны стать первой строкой. И потом модно конкатенировать без проблем.

[Максим Припадчев]

Vladimir Mikushkin, Да там лишь бы фреймы получал, я недавно парсил pdf да с фремами не много возни было, но а как иначе чудес не бывает. Если фреймы есть пусть кривоватые в смсыле имена колонок съехавшие там с пропущенными значениями проблемы это все решаемо, там уже pandas это машина. Лишь бы парсил остальное дело техники.

[Vladimir Mikushkin]

Спасибо, не знал, как преобразовать заголовки в первую строку!

[Максим Припадчев]

Vladimir Mikushkin, По моему не работает, подожди, надо убирать drop=True второй раз лишний. И еще чуть повозится. Подожди повнимательней посмотри.

[Vladimir Mikushkin]

Максим, можно еще вопрос?
Для экспорта в excel меняю в датафрейме в числах '.' на ','
После экпорта суммы выглядят так

Как наиболее просто преобразовать их в числа?

[Максим Припадчев]

Vladimir Mikushkin,
все вроде одолел я его в общем вот так работает. Но код конечно грязный

columns = df1.columns
df2 = df2.reset_index(drop=True).T.reset_index().T
df2.columns = columns
df2.reset_index(drop=True)

Работает вот ровно, подработай его когда решение есть там уже подправишь.

[Vladimir Mikushkin]

Максим Припадчев, Спасибо большое!

[Максим Припадчев]

Vladimir Mikushkin, Я в экселе вообще не шарю даже самое элементарное. Про pandas все что угодно, я с ним каждый день практически работаю.

[Vladimir Mikushkin]

Максим Припадчев, Спасибо!

[Максим Припадчев]

Vladimir Mikushkin, Там смотри я тебе общие рекомендации дам по pandas, когда парсишь pdf. Всегда все собирай в один фрейм а только потом пиши в файл или добавляй в файл. Перед тем как писать его надо проверить когда парсишь табулой он может не нужные строки создавать например над таблицей или под таблицей название он их может под них строку создать. потом надо проверять на наличие пропущенных значений при чем вместо nan там могут быть '' надо проверять например вот так (df == '').sum()
И много других неприятных сюрпризов может быть. Потом приводить все числовые значения к числам из под парсинга они все str в pandas это object называется. Просто помни pandas в плане манипуляции табулярных данных может все. И всю работу надо делать в нем.

[Vladimir Mikushkin]

Спасибо, Максим, за рекомендации!!!
А возможно ли после парсинга табулой, перед тем как кидать в датафрейм, добавить строку с будущими заголовками? Т.е. сделать все это, добавляя вторую часть таблицы сразу в датафреймс первой частью таблицы?

[Максим Припадчев]

Vladimir Mikushkin, Это все надо на конкретном примере проверять, в общем случае там много способов схитрить именно при парсинге, но когда ты парсишь никакого общего случая нет есть только твой конкретный.
Документация так вот обрати внимание при парсинге pdf есть там замечательный параметр pandas_options И он ожидает словарь, там можно пойграться с параметрами например 'header':'None' и другими. Но это общий случай там вот этот пример прям в документации есть. Надо брать с конкретными данными и пробовать.

[Vladimir Mikushkin]

Максим Припадчев, Спасибо! Буду изучать и ковырять дальше