Как перехватить исключение pyo3_runtime.PanicException при использовании pandas и calamine?

Question

[Екатерина]

Я использую pandas с движком calamine для чтения Excel-файлов в формате .xls и .xlsx.

Столкнулась с проблемой, что некоторые excel-файлы повреждены, и при попытке их чтения возникает паника на уровне Rust с сообщением:

thread '<unnamed>' panicked at C:\Users\runneradmin\.cargo\registry\src\index.crates.io-6f17d22bba15001f\calamine-0.24.0\src\cfb.rs:258:41:
slice index starts at 45368320 but ends at 43228735
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace
pyo3_runtime.PanicException: slice index starts at 45368320 but ends at 43228735

Вот часть моего кода:

import pandas as pd

try:
    excel_data = pd.read_excel(txt_file_path, skiprows=cnt_string, sheet_name=filename,
                               na_values=['NULL'], engine='calamine')
except Exception as e:
    print(f'Ошибка при чтении файла {txt_file_path}: {e}')

Однако, перехват исключений через except Exception не помогает предотвратить аварийное завершение скрипта. Как правильно перехватить это исключение и обработать его, чтобы мой скрипт продолжал выполнение даже при ошибке чтения поврежденного файла?

Примечание: Я не хотела бы использовать альтернативную библиотеку для чтения Excel-файлов, так как это потребует значительных изменений в коде.

Comments

[Екатерина]

mayton2019, Поскольку проблема возникает на уровне загрузки книги с помощью библиотеки calamine в функции load_workbook (файл _calamine.py), получить значение переменной excel_data не получается, т.к. исключение происходит до завершения чтения файла.

Вот эта функция:

def load_workbook(
        self, filepath_or_buffer: FilePath | ReadBuffer[bytes], engine_kwargs: Any
    ) -> CalamineWorkbook:
        from python_calamine import load_workbook

        return load_workbook(
            filepath_or_buffer, **engine_kwargs  # type: ignore[arg-type]
        )

А excel_data - это просто пустой датафрейм, и при неудачном чтении по логике вещей им и остаётся.

[mayton2019]

Есть две мысли. Если сторонняя библиотека крашит python процесс то вам просто надо запускать
еще один процесс-камикадзе (excel-kamikadze.py), который даже если падает - не оказывает влияние на основной.
Эта техника используется часто в акторах Erlang/OTP.

Как получить данные назад из excel-kamikadze.py. Тут - много вариантов. Можно создавать временный
файл (XML/JSON куда передавать нужные результаты парсинга). Можно выдать их в поток STDOUT.

import subprocess

result = subprocess.run(["/usr/bin/python3", "kamikadze.py"], stdout=subprocess.PIPE) 
output = result.stdout.decode("utf-8")

И вторая мысль - написать в этот канал https://github.com/tafia/calamine/issues
Приложить образец файла который ломает парсер. Пускай разработчики
думают над фиксом. Я считаю что это критично.
Парсер может делать все что угодно но только не самоубиваться.

[mayton2019]

Я вот это использовал https://poi.apache.org/ (библиотека под Java)

Проверенно временем. Работает.

[Екатерина]

mayton2019, Разработчикам написать не могу т.к. файл можно восстановить, а там конфиденциальная информация, пусть и в сломанном виде. А воспроизвести такую же поломку не вариант.

Пришлось повозиться, однако процесс-камикадзе выручил. По крайней мере ошибка вылетает, но теперь скрипт продолжает работать. Спасибо!

[mayton2019]

Екатерина, я перенесу этот вариант в ответы.

Answer 1

[mayton2019]

Если сторонняя библиотека крашит python процесс то вам просто надо запускать
еще один процесс-камикадзе (excel-kamikadze.py), который даже если падает - не оказывает влияние на основной.
Эта техника используется часто в акторах Erlang/OTP.

Как получить данные назад из excel-kamikadze.py. Тут - много вариантов. Можно создавать временный
файл (XML/JSON куда передавать нужные результаты парсинга). Можно выдать их в поток STDOUT.

import subprocess

result = subprocess.run(["/usr/bin/python3", "kamikadze.py"], stdout=subprocess.PIPE) 
output = result.stdout.decode("utf-8")