Чем обработать DJVU, PDF книги?

Question

[Имя Фамилия]

Есть несколько книг в формате DJVU, PDF.
В книгах есть оглавление.
Как на основе оглавления распознать текст и отдельно по пунктам сохранить в отдельные файлы эти разделы и картинки для каждого раздела.

Есть ли что-то, что в автоматическом режиме выполнит данную задачу?

Comments

[alexalexes]

В книгах есть оглавление.

А на каком уровне оно представлено?
Просто вы видите сканированное изображение или у книги есть структура страниц в метаданных - хотя бы в виде закладок?
Вообще, что из себя представляют эти файлы - сырцы из под сканера, или с ними хорошо поработали - добавили OCR слой и вбили все необходимые метаданные?

[Имя Фамилия]

alexalexes, сырцы из под сканера. Спасибо

[mayton2019]

Каким образом распознавать оглавление если внутри pdf/djvu - отсканированные картинки?

[Виктор]

Ну дык примените лучшую распознавалку текстов из мне известных - Файнридер. Все Файнридеры работают автоматически, выдают на выходе вордовский doc, и чем новее версия Файнридера, тем лучше качество распознавания. Т.е. тем ближе вид текста в doc-документе к исходнику в pdf.
Не помню, работают ли Файнридеры с форматом djvu, но ради хорошего дела не грех и с конвертером djvu->pdf повозиться.

[Adamos]

У меня одного ощущение, что ТС мается прокрастинацией вместо собственно чтения?

[shurshur]

Виктор, с pdf точно работают, а djvu легко в него перегоняется.

[shurshur]

Имя, если книг действительно "несколько", то проще вручную выбрать страницы с оглавлением и распознать, затем скопировать это в таблицу и причесать в вид навроде "раздел - диапазон страниц" и после этого скрипт написать для вызова какого-нить ghostscript/pdftk/итдитп, который выдернет нужные части файлов. Картинки можно попробовать конвертацией doc в html. Но как правило всё равно где-нибудб будет хрень и потребуется вручную подправлять: выкидывать картинки дефектов печати или загибов страниц, неправильно определённые картинки итд итп.

Вообще FineReader правильнее использовать в полуручном режиме. Сначала прогоняем файл с распознанием областей, потом просматриваем его и исправляем где он определил неправильно (например, увидел текст вместо таблицы или наоборот, или двухколоночный текст посчитал одноколоночным). Потом прогоняем финальное распознавание текста и уже тогда текст вычитываем, исправляем ошибки (благо оригинал параллельно виден). При этом получаем полноценную текстовую версию сканированного документа, а не фиг знает что с неопределённым количеством ошибок.

Полученный результат можно превращать хоть в электронную книгу, хоть в текст на сайте, хоть печатать в нужном формате...

[Имя Фамилия]

shurshur, спасибо. всё понял.

[Имя Фамилия]

Adamos, спасибо

[Имя Фамилия]

alexalexes, спасибо

[Имя Фамилия]

mayton2019, спасибо

[mayton2019]

Имя, в подобных задачах... особенно где ТЗ выглядил как "сделайте мне хорошо" - очень важно
проговорить всей кейсы. Вообще чем больше вариантов ты озвучишь и чем больше ограничений мы
здесь придумаем - тем легче задачу будет сделать.

Я предлагаю тебе сделать просто брейкдаун этой задачи на несколько. Хотя-бы по технологиям.
Сделай сначала например только pdf и только для текста. Без картинок. Это будет story-001.
Потом story-002 где будет звучать pdf + scan images.

Вот так плавно. По нарастающей. Потому что в том виде как задача вброшена в qna - она нерешаема.
FineReader, Tesseract, библиотеки машинного зрения - это все хорошо. Но это бесполезно пока нет
абсолютно четкого понимания где какая из них будет применена и что пойдет на вход и что на выход.

[Имя Фамилия]

mayton2019, еще раз спасибо. Моменты уяснил. Буду думать.

Answer 1

[Руслан Корсунов]

Для распознавания текста и извлечения информации из оглавления книг можно использовать OCR (оптическое распознавание символов) и NLP (обработка естественного языка) технологии. Например, для распознавания текста в формате DJVU или PDF можно использовать библиотеку Tesseract OCR. Она позволяет извлекать текст из изображений и PDF-файлов, а также сохранять результаты в текстовый файл. Для обработки полученного текста можно использовать библиотеку NLTK (Natural Language Toolkit). Она предоставляет инструменты для обработки естественного языка, такие как токенизация, стемминг, лемматизация и т.д. Для извлечения информации из оглавления книг можно использовать регулярные выражения или библиотеку BeautifulSoup для парсинга HTML-страниц. Для сохранения каждого раздела и картинок в отдельные файлы можно использовать библиотеку PyPDF2 для работы с PDF-файлами или библиотеку Pillow для работы с изображениями. В целом, для автоматического выполнения данной задачи необходимо написать скрипт на языке программирования, который будет использовать вышеупомянутые библиотеки и алгоритмы для обработки книг. Наверно я понятно объяснил.

Comments

[d'Ivan]

нехорошо копировать и, при этом, не указывать источники.

[Руслан Корсунов]

Капитан Пронин, Я согласен, что копирование без указания источников является плохой практикой. Я просто не знал, как правильно сформулировать эту часть исходного кода, поэтому решил скопировать ее. В будущем я буду более внимательным и указывать источники, чтобы избежать подобных ситуаций.

Answer 2

[DrKovalex]

Я так понимаю, Вам нужно прикладное решение. С этим прекрасно справится ABBYY FineReader. Выбираете любую версию 10+ и решаете свою задачу.
Отдельно отмечу, что книги в формате DjVu будет нужно предварительно конвертировать в растровый формат.