Как написать программу на Python для поиска в архиве файлов pdf?

Question

[Aleks Kooper]

Уважаемое сообщество!
Python только начал изучать. Передо мной задача.
Дано: архив/подборка журналов в формате *.pdf в папках сортированных по годам. Например: журнала номер 1 за первый месяц 2010 года в папке 2010 и т.д.. Общий размер всей подборки по годам 20Gb. Надо написать программу на Python чтобы по запросу пользователя шерстила журналы и на выходе предлагала список журналов в которых есть данная информация.
Прошу указать путь в каком двигаться для решения данной задачи?

Comments

[NaName]

найди шаблон по которому формируются имена файлов и используй его в поиске

[Ranwise]

kauperwud, вам поиск внутри pdf нужен?

журналы часто бывают сканами\картинками без текстового слоя...

[Aleks Kooper]

Ranwise,
мне нужен поиск по тексту, информация текстовая из журналов

Answer 1

[Алексей Черемисин]

Посоветую.
1) Возьмите elasticsearch - https://www.elastic.co
2) в него через устанавливаете плагин "Ingest Attachment Processor Plugin" - https://www.elastic.co/guide/en/elasticsearch/plug...
3) Закачивате в эластик свои дукументы (чтение документации приветствуется)
4) не забудьте установить kibana для просмотра элатика, изрядно помогает в разработке.
5) вот только теперь берете питон и через клиента для эластика - https://elasticsearch-py.readthedocs.io/en/master/ или (а вот его настоятельно рекомендую) https://elasticsearch-dsl.readthedocs.io/en/latest/ ищете в своих документах.
6) flask или aiohttp по вкусу.

Comments

[Aleks Kooper]

я присматриваюсь к эластику как к способу решения данной задачи, но хотелось бы что то на пайтоне написать, хотя как мне посоветовали выше, для начинающего это сложная задача

[Алексей Черемисин]

kauperwud, Сложная - не то слово, причем не только для питона.
1) Вам нужно отпарсить кучу файлов
2) Более того, сложить отпарсенное в базу
3) Сделать по ней нормальный языковой поиск
4) Сделать ко всему этому морду или веб-морду.

С пунктом 4) питон справляется на ура, от flask/aiohttp и заканчивая django.
С пунктом 3) справляются базы данных или специальные поисковики типа sphinx/solr/elasticsearch. Написать свой индексатор или базу данных - задача архисложная, да и зачем, если можно пользовать имеющиеся базы и поисковики, их отлаживают и дорабатывают не один год.
С пунктом 1) справится и питон, но зачем, если в пункте 3) мы все равно берем уже что-то готовое, например эластик через плагин и библиотеку tika прекрасно парсит все, что ни попадь, начиная от текста и заканчивая даннми exif из изображений.
С пунктом 2) питон тоже хорошо справляется, но задача существенно облегчится, если мы чере питон просто будем засовывать документы на обработку.

[Aleks Kooper]

Алексей Черемисин,
Алексей, я наверное соглашусь. Буду пытаться решать задачу через способ предложенный Вами. Спасибо.

Answer 2

[Владимир]

тулза для преобразования pdf -> txt
пробежали по архивам и вкинули данные в БД
пользователь ищет по БД, находит свою запись и там же есть ссылка на архивный файл с pdf
как-то так. в качестве БД можно использовать любою, желательно nosql