Как с помощью Apache Solr проиндексировать документы?

Question

[strelkovandreyv]

Добрый день, имеется Apache Solr 7, который настроен на индексацию базы данных посредством DataImportHandler
Индексация происходит успешно.
Задача состоит в том, что в базе в каждой строке есть ещё ссылка на файл, который расположен на сетевом диске, как в данном случае можно "скормить" этот файл также в индекс.
Я так понимаю, в самом Solr есть какой то встроенный функционал, а также есть библиотека Apache Tika.

В какую сторону нужно идти? (файлы в основном распознанные PDF, но также есть и doc,docx,xlsx, rtf и т.п.)

Answer 1

[al_gon]

Лутше не использовать DataImportHandlerсовсем.

Причины:

Сложная расширяемость
Абсолютно 0 возможностей для скалиривания процесса индексированния
Возможный, но очень сложный и "обезжиренный" мониторинг процесса индексированния.

Comments

[strelkovandreyv]

Вы имеете ввиду для индексирования базы данных?

[al_gon]

strelkovandreyv, Это не так важно DB, File System, Url etc.
Добавляя документы в Solr, мы индексируем.

[al_gon]

По поводу последнего вопроса:
В какую сторону нужно идти? (файлы в основном распознанные PDF, но также есть и doc,docx,xlsx, rtf и т.п.)

Собственный компонент (индексер) в идеале на Java с Apache Tika, Language Detecttion и т.д.

[strelkovandreyv]

al_gon, я так понимаю, и это логично, то при появлении новой записи ее нужно просто отдавать солру, при изменении - изменять, ну и удалять при удалении. Просто у меня получается нет доступа к бэкенду которой работает с данными из базы данных, получается я не могу эти изменения отслеживать. В результате чего я просто так сказать смотрю уже на готовую таблицу и разве что по датам изменения дельта импортом актуализирую индекс

[al_gon]

я так понимаю, и это логично, то при появлении новой записи ее нужно просто отдавать солру, при изменении - изменять

при изменении тоже проще отдавать, такого UPDATE как в SQL нет.

A вообще напишите в скайп, если хотите.