Как реализовать поиск по содержимому файлов(pdf, txt, rtf, doc, docx, excel)?

Question

[djacode]

Есть инфоблок со статьями, к кажой статье могут прикрепляться n документов разного формата(множественное свойство типа файл).
Как реализовать поиск по содержимому этих прикрепленных файлов?
Задача нетривиальная. Первый раз с таким сталкиваюсь. Поскольку статей и файлов много, думал раз в сутки запускать крон, в нем уже в зависимости от расширения файла, подключать необходимую либу для работы с файлом, выгружать содержимое файла в виде текстовой информации в таблицу, в которой есть article_id и text , далее по полю text производить поиск. Более разумного решения почему то не вижу.

Answer 1

[Андрей Николаев]

Если поле имеет тип "Файл" (E) и для него включена опция индексации содержимого, при этом на сайте установлен модуль "Поиск" (search), то можно можно подписаться на событие OnSearchGetFileContent модуля search (оно принимает только 1 параметр - абсолютный путь к файлу), а возвращает: либо null / false, либо структуру с результатами парсинга.

Структура с результатами парсинга - это массив с 2 обязательными ключами:
- CONTENT - строка(!)
- PROPERTIES - ассоциативный массив, в котором должен присутствовать обязательный аттрибут с "Код свойства страницы в котором хранятся теги" (из настроек модуля поиска).

Пример структуры:

$result = [
	'CONTENT' => 'содержимое файла, которое мы распарсили',
	'PROPERTIES' => [
		COption::GetOptionString("search", "page_tag_property") => 'тег1, тег2',
	]
];

Comments

[djacode]

А как битрикс парсит разные файлы, например pdf, docx? Нужно ли подключать что нибудь стороннее?

[Андрей Николаев]

djacode, сам он никак это не парсит - он использует сторонние инструменты типа pdftotext, catdoc и другие.

[djacode]

Андрей Николаев, Подскажите, а вот это : "включена опция индексации содержимого" это где настраивается?
Думал здесь, но такого тут нет

[Андрей Николаев]

djacode, "Значения свойства участвует в поиске"

[djacode]

А почему я не могу получить другие значения из массива помимо CONTENT:

private static function processPdfFile($absolute_path) {
        $parser = new \Smalot\PdfParser\Parser();
        $pdf = $parser->parseFile($absolute_path);

        $text = $pdf->getText();

        return array(
            "PATH" => $absolute_path,
            "TITLE" => basename($absolute_path),
            "CONTENT" => $text,
            "PROPERTIES" => [COption::GetOptionString("search", "tags") => 'тег1, тег2'],
        );
    }

TITLE устанавливается именем элемента инфоблока а не то что я указываю и почему то локально на mysql поиске это работает(получение CONTENT) а если поиск на Sphinx то не работает