Битрикс: Похожие новости по названию с совпадением больше 60%?

Question

[Сергей]

Добрый день.

Возникла следующая задача, есть новость https://esports.gl/video/esports/moba/dota-2/dota-...

Необходимо на этой же странице вывести похожие новости по заголовку с похожестью заголовка более 60%. Находил пример с выборкой по маске, но там ищется по одному слову и то что выбирается из БД через getList при таком подходе совершенно не похоже).

В php есть функция similar_text, но она ищет совпадения по буквам, да даже если и ею пользоваться вначале надо выбрать все элементы и потом сравнивать их названия, а если в инфоблоке более 10к элементов нагрузка будет огого.

Плюс у слов могут быть разные окончания, множественное/единственное число и тд.

В идеале было хорошо, если научить систему понимать смысл названий и проводить выборку по смыслу, но как такое реализовать даже малейшего представления не имею)

Кто сталкивался с подобной задачей и как её решали?

Answer 1

[Александр Маджугин]

Ну с пониманием это вы загнули...
Путей несколько. Самый простой в лоб - использовать теги.

Чуть посложнее - встроенный поиск, как уже предлагали (можно даже переключиться на сфинкс в админке).
Скрещивать с api это не надо никак - это все уже есть в api: https://dev.1c-bitrix.ru/api_help/search/classes/c...
Можете посмотреть устройство компонента search.page.

Comments

[Сергей]

Уже сам понял, что усложнил задачу. С поиском есть одна проблема, надо выбирать из определенного раздела. Плюс на сайте еще есть настройки персонализации, и выборку тоже надо делать с учетом этих настроек (отключение разделов, источников). Но в поисковом индексе таких данных нет, пробовал свои ключи в индекс добавить. Произвольные ключи в индекс не добавляются, общаюсь с сапортом на тему этого. Так что пока вариант с поиском не оч подходит, хотя он очень удобен и работает отлично без условия выборки из определенного раздела.

[Александр Маджугин]

sergafon, стоп, вы не туда копаете.
1 Произвольные ключи в индекс добавляются.
2 Вам это нафиг не нужно.

Смотрите, вы же можеет отфильтровать новости требуемым вам образом - по разделам, персонализации и т.д? Можете - вы же список как-то показываете.
Так вот, вы под новостью добавляете компонент новостей С ТЕМ же нужным вам фильтром - он вернет как раз все что вам нужно, но ВСЕ новости. Правильно?
А что вам выдает компонент поиска? Он вам выдает только список id похожих новостей.
Ну и чудесно - вливаете этот список id в ваш фильтр и задача решена.

[Сергей]

1 Произвольные ключи в индекс добавляются.

Не добавляются!!!

function BeforeIndexHandler($arFields)
    {
        if($arFields["MODULE_ID"] == "iblock")
        {
            if(array_key_exists("BODY", $arFields) && substr($arFields["ITEM_ID"], 0, 1) != "S")
            {
                $arFields["BODY"] = "";

                if (CModule::IncludeModule('iblock'))
                {
                    $rs = CIBlockElement::GetByID( intval($arFields['ITEM_ID']) );

                    if ($ar = $rs->Fetch())
                    {
                        $arFields['PARAMS']["CODE"] = $ar['CODE'];
                    }
                }
            }

            if (substr($arFields["ITEM_ID"], 0, 1) == "S")
            {
                $arFields['TITLE'] = "";
                $arFields["BODY"] = "";
                $arFields['TAGS'] = "";
            }
        }

        return $arFields;
    }

само событие отрабатывает, но ключ $arFields['PARAMS']["CODE"] в индексе не появляется.

О таком варианте, который вы предлагаете я даже и не подумал) Единственный минус данного способа лишний компонент на странице, который будет слать лишние запросы в БД и увеличивать время генерации страницы. Также нужно будет еще кастомизировать search.page, для того чтобы персонализация в поиске тоже отрабатывала. Если же нужные данные добавить в поисковый индекс, можно просто в компонент поиска передавать фильтр. Если не удаться добавить свои поля в индекс придется делать так как описали вы.

[Александр Маджугин]

> лишний компонент на странице, который будет слать лишние запросы в БД и увеличивать время генерации страницы
Поиск по куче индексов тоже будет увеличивать время и вероятнее всего гораздо сильнее, потому что там не будет limit - это раз.
Два- сделайте отложенную закгрузку по ajax этого блока.

[Александр Маджугин]

sergafon, и вот еще нюанс - выдергивание списка id похожих новостей вы сможете кэшировать, так как поиск не будет персонализирован, не кэшируемым останется только фильтр.
В случае если вы сделаете так как вы собираетесь - вам придется сделать некэшируемым полностью весь этот блок.
Так что вариант к которому вы стремитесь по времени будет более тормознутым.
А запросов будет одинаковое количество кстати.

[Сергей]

Поиск по куче индексов тоже будет увеличивать время и вероятнее всего гораздо сильнее, потому что там не будет limit - это раз.

есть $obSearch->NavStart(6, false), разве не уменьшит время исполнения? По отладчику показывает что поиск по элементам быстрее отрабатывает чем компонент catalog.section или news.list (время у них почти одинаковое), и скорее всего это связано с тем что выборка идет из индекса, а не из БД как при работе обычного компонента.

Про ajax согласен, тоже упустил из виду этот момент)

А про свои ключи в индексе, вы добавляли сами и у вас получилось?

[Александр Маджугин]

По отладчику показывает что поиск по элементам быстрее отрабатывает чем компонент catalog.section или news.list
Это так. Но смотрите где вас ждет засада - когда поиск отработает и выдернет вам id элементов ВАМ ВСЕ РАВНО придется испльзовать news.list чтобы достать элементы с этими id. Т.е. архитектура такая при вашем решение НекэшируемыйПоиск(список id)=>НекэшируемаяВыборкаNewsList. В случае если сделаете так как я говорю будет КэшируемыйПоиск(список id + фильтр)=>НекэшируемаяВыборкаNewsList.
Да, запрос в последнем NewsList будет посложнее. Но там такие слезы, что заморачиваться не стоит с этим.
Какая латентность выборки у вас сейчас? Что вы пытаетесь экономить? 0.01 сек?

> А про свои ключи в индексе, вы добавляли сами и у вас получилось?
Ага. Ща посмотрю - кажись вспомнил в каком проекте. Если правильно и найду - выложу.

[Сергей]

Да согласен с вами, приходится доп запрос делать чтобы в массив элементов из поиска через result_modifier.php добавить доп. данные картинка и др. Некэшируемая выборка будет только если настройки персонализации сменить или добавлись элементы в инфоблок, в других случаях все из кэша идет, если у компонента отменить "CACHE_GROUP" => "Y", если же произошли изменения кэш сбрасывается автоматически, если конечно компонент в шаблоне другого компонента не вызывать.

По своим полям в индексе буду очень признателен, если найдете. На днях попробую реализовать ваше решение, если все сработает отмечу ваш ответ решением), вы уже оч сильно помогли с решением моего вопроса)

[Александр Маджугин]

Нет, в том проекте многоязычность там в тело другие языки подклеиваются...
Вот из другого под рукой. Здесь один добавляется индекс.
хм, не знаю - поможет ли...

public static function beforeIndexHandler($arFields) {
        if ($arFields["MODULE_ID"] == "iblock" && $arFields["PARAM2"] == IB_NEWS_EVENTS && substr($arFields["ITEM_ID"], 0, 1) != "S") {
            $self = new static();
            $element = $self->getElement($arFields["ITEM_ID"]);
            $arFields["PARAMS"]["type"] = $element->PROPERTY_TYPE_ENUM_ID;
        }
        return $arFields;
    }

Вы просмотрите у вас что вообще не выходе из функции получается. Просто перед return Добавьте die(''.print_r((array)$arFields,true).''); и сохраните любую новость - индекс умрет и вы увидете - у вас заполняется PARAMS или нет

[Сергей]

Посмотрел, все приходит норм, и элемент выбирается из бд тоже нормально, почему в индекс не пишется не понимаю( Может я чето путаю, перед return $arFields;, показывает что ключ добавился в массив. Но на странице поиск компонент search.page в массиве найденных элементов этого параметра нет.

[Александр Маджугин]

И в PARAMS у вас на выходе из BeforeIndexHandler есть [CODE] => что-то там?

[Сергей]

Да там записан символьный код элемента

[Александр Маджугин]

sergafon, ну и как успехи? Если записан код, то все ок - должно индексироваться.
Могу еще посоветовать после того как вы это сделали и проверили запустить полную переиндексацию инфоблоков, если сами не догадались, а то индексы же волшебным образом не появятся.
А если не помогает - удалить модуль Поиск вместе с табицами и установить его заново - это часто решает разные проблемы связанные с поиском.

[Сергей]

Александр Маджугин, Пробовал все что вы перечислили, ничего не помогло. Тех. поддержка тоже ничего не отвечает.

[Александр Маджугин]

Как определили что ключи не добавляются?

[Сергей]

Александр Маджугин, Сапорт ответил, что свои произвольные ключи невозможно добавлять

[Александр Маджугин]

sergafon, бред какой. У меня код который выше работает в проекте живом уже года два. А еще где-то есть их же документация.

[Сергей]

Александр Маджугин, У вас в компоненте search.page в массиве найденных элементов есть произвольные ключи, которые вы добавили в поисковый индекс?
Например

$arResult["SEARCH"] => array(
    0 => array (
        .......
        "CUSTOM_KEY" => "CUSTOM_VALUE"
    )
)

Событие

public static function beforeIndexHandler($arFields) {
        if ($arFields["MODULE_ID"] == "iblock" && $arFields["PARAM2"] == IB_NEWS_EVENTS && substr($arFields["ITEM_ID"], 0, 1) != "S") {

            $arFields["CUSTOM_KEY"] = "CUSTOM_VALUE";
        }
        return $arFields;
    }

В документация про произвольные поля тоже ничего не нашел( У вас какая версия битрикса?

[Александр Маджугин]

sergafon, нет конечно (у меня и компонента-то нет, но если бы был - все равно не было бы) - речь о массиве найденных элементов или об индексе?
И для чего вам они в массиве найденных элементов?

[Сергей]

Александр Маджугин, ну так компонент то возвращает данные из поискового индекса, если данные есть в индексе то они выведутся и в массиве найденных. Мне надо добавить раздел элемента в индекс, чтобы перед выборкой передавать туда фильтр по ИД раздела и получать только данные из нужного раздела, а не из всего инфоблока.

[Александр Маджугин]

> ну так компонент то возвращает данные из поискового индекса
нет

> если данные есть в индексе то они выведутся и в массиве найденных.
тоже нет

> Мне надо добавить раздел элемента в индекс, чтобы перед выборкой передавать туда фильтр по ИД раздела и получать только данные из нужного раздела, а не из всего инфоблока.
Ну ок - передавайте теперь нужное вам значение в параметрах поиска. Не помню есть ли параметр в стандартном компоненте, если нет - вам придется его модифицировать.
Свои ключи вы должны добавлять в параметры CSearch:Search https://dev.1c-bitrix.ru/api_help/search/classes/c...
Вот пример использования из того же проекта:

/**
     * @param $category
     * @return array
     */
    public function getCategoryParams($category) {
        if ($category == 'news') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_NEWS_EVENTS,
                "PARAMS" => ['type' => NEWS_TYPE_NEWS],
            ];
        } elseif ($category == 'events') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_NEWS_EVENTS,
                "PARAMS" => ['type' => NEWS_TYPE_EVENTS],
            ];
        } elseif ($category == 'catalog') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_CATALOG,
            ];

        } elseif ($category == 'site') {
            return [
                'MODULE_ID' => 'main'
            ];
        }

        return [];
    }

    /**
     * @param $query
     * @param bool $category
     * @return int
     */
    public function count($query, $category = false) {
        $bxSearch = new CSearch();

        $params = [
            "QUERY" => $query,
            "SITE_ID" => LANG,
        ];
        if ($category !== false) {
            $params = array_merge($params, $this->getCategoryParams($category));
        }

        $bxSearch->Search($params, [], [
            'STEMMING' => false
        ]);
        $bxSearch->NavStart();

        return $bxSearch->NavRecordCount;
    }

[Сергей]

Александр Маджугин, Я так понимаю у вас тут свой компонент описан? Если нет, то куда прописывать то что вы указали выше?)

[Александр Маджугин]

sergafon, нет это у меня не в компоненте - это сайт вообще на ZendFramework так что это модель MVC.
Но логика должны быть понятна. Откройте компонент search.page и найдите там использование CSearch::Search - посмотрите что прилетает ему в параметры из параметров компонента и если есть возможность подсунуть через них нужные данные - сделайте. Если нет - модифицируйте компонент - добавьте свой параметр PARAMS скажем и в него добавляйте нужные вам параметры фильтрации.

[Сергей]

Александр Маджугин, Смотрел изучал, но не смог до конца понять как именно сделать, точнее насколько я понял это вообще невозможно. Есть функция CSearch::Search() в нее можно передавать свой фильтр и она возвращает данные, фильтр то по разделу я могу передать только толку от этого 0 потому в поисковом индексе не хранится данная информация (раздел элемента) и соответственно фильтровать будет нечего. Как вариант думал над тем что получить ссписок ИД найденных элементов и уже через гет лист выбирать с фильтром по этим ИД и разделам. Но такой вариант не понравился тем что лишние запросы в БД и лишний код. Если по другому никак нельзя придется делать так.

[Александр Маджугин]

> фильтр то по разделу я могу передать только толку от этого 0 потому в поисковом индексе не хранится данная информация (раздел элемента) и соответственно фильтровать будет нечего.

Ну так вы же добавите (уже добавили) его в индекс и тогда будет что фильтровать.
Обратите внимание - я добавляю "PARAMS" => ['type' => NEWS_TYPE_EVENTS], - вот тут как раз константа NEWS_TYPE_EVENTS и содержит то самое значение что вышепредставленынм кодом я добавил в индекс в параметр type и как раз позволяет сделать мне отдельный поиск по новостям и по событиям, не смотря на то, что разработчик засунул их в 1 ИБ и отличатся они только значением пользовательского свойства.

> Как вариант думал над тем что получить ссписок ИД найденных элементов и уже через гет лист выбирать с фильтром по этим ИД и разделам. Но такой вариант не понравился тем что лишние запросы в БД и лишний код.
Ну я вам выше так и предлагал - тут не надо точно ничего модифицировать и нет ничего плохого в данном подходе. Тем более вы можете кэшировать поисковый запрос, так как их у вас ограниченное число - названия других новостей.

[Сергей]

Ну так вы же добавите (уже добавили) его в индекс и тогда будет что фильтровать.

Нельзя в поисковый индекс добавить свои произвольные поля. Это просто не предусмотрено битриксом.

Сейчас почитал свой вопрос) в комментах уже не в ту степь пошел) Просто есть еще поиск и там тоже самое требуется сделать, применять фильтр в зависимости от настроек аккаунта пользователя.

Добавляю в поисковый индекс

function BeforeIndexHandler($arFields)
    {
        if($arFields["MODULE_ID"] == "iblock")
        {
            if(array_key_exists("BODY", $arFields) && substr($arFields["ITEM_ID"], 0, 1) != "S")
            {
                $arFields["BODY"] = "";

                if (CModule::IncludeModule('iblock'))
                {
                    $rs = CIBlockElement::GetByID(intval($arFields['ITEM_ID']));

                    if ($ar = $rs->Fetch())
                    {
                        $arFields["SECTION_ID"] = $ar["IBLOCK_SECTION_ID"];
                    }
                }
            }

            /*if (substr($arFields["ITEM_ID"], 0, 1) == "S")
            {
                $arFields['TITLE'] = "";
                $arFields["BODY"] = "";
                $arFields['TAGS'] = "";
            }*/

            //die(print_r($arFields));
        }

        return $arFields;
    }

В поисковый индекс ИД раздела не добавляется и фильтр не отрабатывает. Видимо придется кастомизировать компоненты и делать все через гет лист с предварительной выборкой ИДшников через поиск.

[Александр Маджугин]

Параметр добавляется и по нему можно фильтровать. Я понял что имеет ввиду ТП - нельзя добавить свой параметр в индекс полнотекстового поиска - это так. Т.е. если у вас есть поле с текстом и вы хотите чтобы искалось и в этом тексте - сделать это не выйдет. Но для этого есть хак и я даже тут про него писал.

А вот та задача что вы здесь описываете решается именно сохранением параметра поиска именно так как вы делаете.

> Видимо придется кастомизировать компоненты и делать все через гет лист с предварительной выборкой ИДшников через поиск.
Здесь "и" надо заменить на "или" - если вы кастомизируете компонент, то фильтруйте в поиске по найденому параметру. Если это фильтрация по ID из поиска и фильтру - то кастомизация не нужна. Просто два компонента - поик, который вернет вам id и в его шаблоне news.list которому вы суните в фильтр эти id.

[Сергей]

Александр Маджугин, Применил событие, которое описал выше, типо добавил в поисковый индекс SECTION_ID, в результатах поиска этого значения у элемента нет, фильтр по этому значению не применяется.

В фильтр передаю $GLOBALS["arrFilterSearch"]["SECTION_ID"] = $GLOBALS["arProfile"]["UF_NEWS_SECTION"]; Как вообще фильтр должен отработать, если такого SECTION_ID нет в массиве элемента? Вы зайдите в таблицу БД посмотрите там есть набор полей, которые можно менять под произвольные ключи там даже не предусмотрено joxi.ru/Y2Lj1e6s94Kodr. Про тоже самое мне и сапорт сказал.

Тех поддержка говорила именно про произвольные ключи, я им несколько раз говорил, что поиск по ним не требуется, они нужны только для фильтра.

[Александр Маджугин]

> в результатах поиска этого значения у элемента нет
В результатах его вроде и не должно быть.

> В фильтр передаю $GLOBALS["arrFilterSearch"]["SECTION_ID"] = $GLOBALS["arProfile"]["UF_NEWS_SECTION"];
В фильтр какого компонента? search.page? Не правильно.

> Вы зайдите в таблицу БД посмотрите там есть набор полей, которые можно менять под произвольные ключи там даже не предусмотрено.
Зашел. Посмотрел. Есть: joxi.ru/KAgJ7N6u4BWXe2

[Сергей]

Александр Маджугин, Во теперь и у меня появилось не туда вставлял)) Теперь как то можно по этим параметрам фильтр применить в CSearch::Search()?

[Александр Маджугин]

sergafon, в первый параметр у вас должно попадать нечто вроде:

[
            "QUERY" => Поисковй запрос,
            "SITE_ID" => Id сайта,
            "PARAMS" => [SECTION_ID => id раздела]
        ];

[Сергей]

Сейчас пытаюсь заставить работать фильтр в search.page в коде компонента посмотрел FILTER_NAME объединяется с фильтром передаваемым в функцию поиска.

Сделал так

$GLOBALS["arrFilterSearch"] = array(
        "LOGIC" => "OR",
        "PARAMS" => array(
            "!SECTION_ID" => array_merge($GLOBALS["arProfile"]["UF_NEWS_SECTION"], $GLOBALS["arProfile"]["UF_VIDEO_SECTION"])
        )
    );

Не хочет срабатывать

[Александр Маджугин]

"LOGIC" => "OR", там зачем?

Сначала попробуйте SECTION_ID == одному id - убедитесь что работает на самом простом случае.
перед самым исползованием метода добавьте die с print_r чтобы увидеть состояние фильтра который реально попадает в Search

[Сергей]

Александр Маджугин, В фильтр приходит Array ( [PARAMS] => Array ( [!=SECTION_ID] => 43 ) [SITE_ID] => s1 [QUERY] => dota [TAGS] => ) 1, "LOGIC" => "OR" убрал, вообще ни одного элемента не возвращается ни так[!=SECTION_ID] => 43 ни так [SECTION_ID] => 43

[Александр Маджугин]

В базе в таблице есть результаты с SECTION_ID 43?

[Сергей]

Александр Маджугин, да щас попробовал фильтр не срабатывает из-за отрицания, если отрицание убрать он ищет по массиву переданных ид, но вся фишка в том что мне надо именно исключать указанные разделы

[Сергей]

Александр Маджугин, огромное спасибо за помощь!) Очень выручили) По поводу фильтра завели тикет, видимо очередной баг битрикса.

Answer 2

[Алексей Емельянов]

Смотрите модуль поиска. Вызываете поиск в том же ИБ по названию новости или по тегам.

Comments

[Сергей]

Вы имеете ввиду компонент search.page или search.title?

Answer 3

[sim3x]

По сути, есть только два варианта и лучший пока что sphinxsearch.com

Comments

[Сергей]

Больше всего непонятно, как это все с битриксом скрестить, с его стандартным АПИ

[sim3x]

sergafon,
не скажу