Какую библиотеку/sdk выбрать для распознавания таблиц?

Question

[ekopiy]

Есть около 60 млн. документов в формате pdf, в которых есть таблицы разных форматов. В основном, сканы. Разный формат это может не быть внешних границ или ячейки объединены и присутствует цветовое оформление. Попробовали tabula + opencv с предобученной моделью, найденной в интернете, но очень медленно дело идёт. Есть ли инструменты лучше и быстрее или нужно смотреть на платные?

Comments

[calculator212]

но очень медленно дело идёт.

А медленно - это сколько?

[AVKor]

60 млн. документов

очень медленно дело идёт

А чего вы ожидали при таком количестве?

Если один документ будет распознаваться в среднем 1 минуту и работа будет в режиме 24/7, то она продлится примерно 114 лет.

[ekopiy]

calculator212, питон в 30 потоках на хорошем проце, оперативка и диск не умирают. За 20 дней спарсилось только 400к документов, в которых в среднем по 2-3 таблицы

[ekopiy]

AVKor, Не уверен в вашей оценке:) Сейчас один распознавание одного документа занимает около 4 секунд

[Viktor T2]

Camelot python
https://camelot-py.readthedocs.io/en/master/
Есть два режима работы,
Lattice и Stream
Lattice - графически определяет границы таблицы (если они есть), работает медленно.
Stream - можно задать область таблицы и разбиение на столбцы по координатам
внутри документа, работает быстрее.
Также есть графический отладчик,
то есть можно посмотреть что происходит, структуру документа, и т.п.
pdf-ы должны быть однотипными, возни много.

так же когда я 2 года назад занимался этим,
натыкался на несколько толковых онлайн сервисов,
платных естественно,
сечас вспомнить не смогу, но они легко гуглятся

Сканы - это плохо,
тут только google vision api
или уже упомянутый здесь ABBYY

Так же для сканов есть пайтон либа
PyPDFOCR
https://pypi.org/project/pypdfocr/
которая преобразует пдф в Searchable Pdf, то есть добавляет текстовый слой
работает на основе Tesseract-OCR,
результат не очень,
зависит от качества скана и настроек, версии Tesseract-а

[ekopiy]

Viktor T2, Большое спасибо за подробный ответ! Камелот пробовал, но похоже, нераспробовал, т.к. показался неюзабельным в этом случае, т.к. форматы и размеры таблиц в каждом документе разные. Насчёт PyPDFOCR что-то очень знакомое, спасибо больше, гляну.

[AVKor]

ekopiy,

Сейчас один распознавание одного документа занимает около 4 секунд

Больше семи с половиной лет будете обрабатывать.

[AVKor]

ekopiy, На разных документах Camelot и Tabula могут очень по-разному работать. Вплоть до того, что на каких-то одна библиотека отлично справляется, а другая даёт отстой и наоборот.

[calculator212]

ekopiy, а что именно тратит больше всего времени? Просто по ощущениям из 4 секунд, нейронка занимает 90%-95% времени, если это так, то можно попробовать использовать GPU(если это конечно не сделано), если затык в питоновских функциях не связанных с opencv, то можно попробовать переписать на c++, часть логики(но это вряд ли в вашем случае сильно ускорит), если затык с алгоритмами opencv, то можно попробовать найти более быстрый аналог.

Answer 1

[Dimonchik]

ABBYY конечно

Comments

[ekopiy]

Общаемся с их представителями сейчас, но хотелось бы добиться буста текущей реализации решения своими силами.

[Dimonchik]

кадры решают все

или сломаная прога, но эбби защищаются конечно