PHP Операторы поиска, как использовать?

Question

[alex_maldinsky]

Добрый день. Подскажите пожалуйста как правильно разбить и подготовить строку с использованием операторов поиска.
Операторы:

"текст"   - искать этот текст;
!слово   - искать записи без этого слова;
=слово  - искать точную словоформу;
слово | слово   - искать или одно или другое

Все что вне или внутри этих операторов нужно экранировать, чтобы не сломать запрос.

Накидал вот такой кривоватый вариант:

private function getMatchWithSeparator($string){
        $separators = ['!', '"', '|', '='];

        if(substr_count($string, '"') % 2 != 0) return Yii::$app->sphinx->escapeMatchValue($string);

        $array = explode(' ', $string);

        if(count($array) == 1 && $array[0][0] === '!') return '';

        $query = [];
        foreach($array as $item){
            if(strlen($item) < 3){
                $query[] = ($item == '"')? $item: Yii::$app->sphinx->escapeMatchValue($item);
            } else {
                $first = (isset($item[0])) ? $item[0] : '';
                $second = (isset($item[1])) ? $item[1] : '';
                $last = substr($item, -1);

                if ($second == '"') {                                                                        /*   !", =" и другие*/
                    if (in_array($first, $separators) && $first != '"' && $last == '"') {
                        $str = substr(substr($item, 0, -1), 2);
                        $query[] = $first . $second . Yii::$app->sphinx->escapeMatchValue($str) . $last;
                    } elseif ($first == '"' && $last == '"') {                                              /* если слово в ковычках*/
                        $str = substr(substr($item, 0, -1), 1);
                        $query[] = $first . Yii::$app->sphinx->escapeMatchValue($str) . $last;
                    } elseif (in_array($first, $separators) && !($last == '"')) {                           /* если слово начивается с спецсимвола */
                        $str = substr($item, 2);
                        $query[] = $first . $second . Yii::$app->sphinx->escapeMatchValue($str);
                    } elseif ($last == '"') {                                                               /* если слово заканчивается ковычкой*/
                        $str = substr($item, 0, -1);
                        $query[] = Yii::$app->sphinx->escapeMatchValue($str) . $last;
                    } else {
                        $query[] = Yii::$app->sphinx->escapeMatchValue($item);
                    }
                } else {
                    if ($first == '"' && $last == '"') {                                          /* если слово в ковычках*/
                        $str = substr(substr($item, 0, -1), 1);
                        $query[] = $first . Yii::$app->sphinx->escapeMatchValue($str) . $last;
                    } elseif (in_array($first, $separators) && !($last == '"')) {                  /* если слово начивается с спецсимвола */
                        $str = substr($item, 1);
                        $query[] = $first . Yii::$app->sphinx->escapeMatchValue($str);
                    } elseif ($last == '"') {                                                     /* если слово заканчивается ковычкой*/
                        $str = substr($item, 0, -1);
                        $query[] = Yii::$app->sphinx->escapeMatchValue($str) . $last;
                    } else {
                        $query[] = Yii::$app->sphinx->escapeMatchValue($item);
                    }
                }
            }
        }
        return implode(' ',$query);
    }

Но не получается обрабатывать кривые ошибки и они ломают запрос. Например: Привет " !"

Как быть?

Answer 1

[xmoonlight]

1. Распознаём корректно токены.
2. Обрабатываем результат логических выражений в соответствии с приоритетами операций.
У Вас п.1 - не выполнен!

Comments

[alex_maldinsky]

1. Распознаём корректно токены.

Т.е.?

[xmoonlight]

alex_maldinsky, a|b !c "a|b !c d" a"b
1. Здесь выражение в кавычках a|b !c d - это один токен: чёткая фраза!
2. a"b - это ещё один токен: просто обычное слово.

[alex_maldinsky]

xmoonlight, так вот... в этом и проблема, как выделять? как понять что это то, что мне нужно?

[xmoonlight]

alex_maldinsky, preg_match() и regex-выражения + объединяющие скобки для формирования выражения. Можно использовать обратную польскую запись для записи и разбора таких выражений.

[xtress]

xmoonlight, есть вопрос (хотя он скорее к автору, чем к вам), ибо я с yii не работал, но вкратце почитал маны к той (?) sphinx-либе, которую использует автор: а какой прикладной смысл парсить входные данные и выбирать по токенам, если эта же либа позволяет (вроде как) просто скормить входящие данные в new MatchExpression и спокойно выбираться из сфинкса? Или м.б. есть какой-то сакральный смысл в такой свистопляске и в ручном разборе?

[xmoonlight]

xtress, видимо лучше к автору, т.к. я вообще не юзаю сфинкс.

[alex_maldinsky]

xtress, есть просто скормить - он экранирует все данные и все.

[alex_maldinsky]

xmoonlight, пробовал, но что-то не получается. Типо в цикле делать проверку по регуляркам?
Может получится накидать пример?) Буду очень благодарен

[xmoonlight]

alex_maldinsky, Может, но времени нет на это...)

[alex_maldinsky]

xmoonlight, Т.е. мне нужно сформировать набор регулярок и в цикле проверять строку? А есл строка состоит из 2 операторов? Попробовал выделять ковычки - получается бред

[xmoonlight]

alex_maldinsky, Нужно нормально читать то, что я уже написал выше и вопросов не будет.

[alex_maldinsky]

xmoonlight,

preg_match() и regex-выражения + объединяющие скобки для формирования выражения.

Ну я делаю строку по " и получаю массив выражений. А потом прохожусь по ним, чтобы понять, что за выражения и для чего они. Или я не так понимаю? Или будет только 1 выражение?

[xmoonlight]

alex_maldinsky, (a+b)*c
Нужно получить по-отдельности: a,b,c (операнды) и "+","*" (операторы).
Затем вычислить (используя обратную польскую запись):
1. a+b =t1
2. t1*c = R
R - результат.

[alex_maldinsky]

Нужно получить по-отдельности: a,b,c (операнды) и "+","*" (операторы).

Так вот и основная загвоздка, как разделить? как понять что это оператор, а не просто кривой символ?

[xmoonlight]

alex_maldinsky, Токенизацией через regex-выражения.
Всё достаточно просто:
1. нашли нужный токен -> заменили на переменные
2. список ожидаемых токенов пуст? Нет -> GOTO1
(здесь мы получили операнды)
3. перебираем все нужные операторы между НОВЫМИ/ЗАМЕНЁННЫМИ переменными
(здесь мы получили операторы)
4. проверяем корректность выражения (скобки и прочее - снова ОПЗ)
5. корректируем его при необходимости
6. вычисляем....

[alex_maldinsky]

xmoonlight,

<?php
$text = '="sdfsdfsdf ddsfsdf" dsfsdf';

$regexps = [
    '/="(.*?)"/',
    '/!"(.*?)"/',
    '/"(.*?)"/',
    '/!(.*?) /',
    '/=(.*?) /',
    '/ (.*?) \| (.*?) /'
    ];

foreach($regexps as $regexp){
    getMatch($text, $regexp);
}

function getMatch(&$string, $regexp){
    $result = preg_match_all($regexp, $string, $match);
    if($result){
        var_dump($match);
    }
}

Начало такое? вы это имели ввиду?

[alex_maldinsky]

xmoonlight,

$text = '="привет" !"пока"';

/*
    option1 - =""
    option2 - !""
    option3 - ""
    option4 - !
    option5 - =
*/

$regexps = [
    '/(="(?<option1>.*?)"|!"(?<option2>.*?)"|"(?<option3>.*?)"|!(?<option4>.*?)|=(?<option5>.*?))/',
    ];
foreach($regexps as $regexp){
    $result = preg_match_all($regexp, $text, $match);
    var_dump($match);
}

Или что-то такое?

[xmoonlight]

alex_maldinsky, какой результат (массив) на эту строку: a|b !c "a|b !c d" a"b?

[xmoonlight]

alex_maldinsky, обратная польская запись!

[alex_maldinsky]

xmoonlight,

<?php
$text = '="sdfsdfsdf ddsfsdf ="sdfsdfsdf ddsfsdf" dsfsdf';

$regexps = [
    '/="(.*?)"/',
    '/!"(.*?)"/',
    '/"(.*?)"/',
    '/!(.*?) /',
    '/=(.*?) /',
    '/ (.*?) \| (.*?) /'
    ];
    
$count = 0;
$array_replace = [];

foreach($regexps as $regexp){
    getMatch($text, $regexp, $array_replace, $count);
}

$text = escapeMatchValue($text);

foreach($array_replace as $key => $item){
    $text = str_replace($key, $item, $text);
}

echo $text;

function getMatch(&$string, $regexp, &$array_replace, &$count){
    return $string = preg_replace_callback(
        $regexp, 
        function($matches) use (&$array_replace, &$count){
            $count++;
            $array_replace['str'.$count] = str_replace($matches[1], escapeMatchValue($matches[1]),$matches[0]);
            return 'str'.$count;
        }, 
        $string);
}


function escapeMatchValue($str)
{
    return str_replace(
        ['\\', '/', '"', '(', ')', '|', '-', '!', '@', '~', '&', '^', '$', '=', '>', '<', "\x00", "\n", "\r", "\x1a"],
        ['\\\\', '\\/', '\\"', '\\(', '\\)', '\\|', '\\-', '\\!', '\\@', '\\~', '\\&', '\\^', '\\$', '\\=', '\\>', '\\<',  "\\x00", "\\n", "\\r", "\\x1a"],
        $str
    );
}

Как-то так?

[xmoonlight]

alex_maldinsky, Нет.

[alex_maldinsky]

xmoonlight, а что конкретно не так?) использовать обратная польская запись?

[xmoonlight]

alex_maldinsky, Да.

[alex_maldinsky]

xmoonlight, Я к сожалению не понимаю как ее там использовать и для чего. Не могли бы Вы накидать код или поправить мой?

[xmoonlight]

alex_maldinsky, Разберитесь сами и напишите - там всё достаточно просто.

[alex_maldinsky]

xmoonlight, я все равно не совсем понимаю зачем мне эта запись и что она мне даст.

[xmoonlight]

alex_maldinsky, она автоматом будет проверять корректность выражения (скобки, кавычки и т.д.)

[alex_maldinsky]

xmoonlight, тогда я вообще не представляю о чем Вы говорите....

[xmoonlight]

alex_maldinsky, Разбирайтесь и будете представлять!

[alex_maldinsky]

xmoonlight, ясно, спасибо за советы

[xmoonlight]

alex_maldinsky, Пожалуйста. Главное - не поленитесь ими воспользоваться.

[alex_maldinsky]

xmoonlight, Постараюсь, читал статьи но так и не понял как мне это должно помочь, особенно с ковычками..

[xmoonlight]

alex_maldinsky, Особенно с ними

[alex_maldinsky]

xmoonlight, понятнее не стало))

[xmoonlight]

alex_maldinsky, я про ошибку в слове "ковычками"))

[alex_maldinsky]

xmoonlight, Да я понял)

Answer 2

[alex_maldinsky]

Ап, может кто-то еще что-то может подсказать?
Пока есть такой вариант:

private function getMatchWithSeparator($string){
        $regexps = [
            '/="(.*?)"/',
            '/!"(.*?)"/',
            '/"(.*?)"/',
            '/!(.*?) /',
            '/=(.*?) /',
            '/ (.*?) \| (.*?) /'
        ];
        $count = 0;
        $array_replace = [];
        foreach($regexps as $regexp){
            $string = preg_replace_callback(
                $regexp,
                function($matches) use (&$array_replace, &$count){
                    $count++;
                    $array_replace['str'.$count] = str_replace($matches[1], Yii::$app->sphinx->escapeMatchValue($matches[1]),$matches[0]);
                    return 'str'.$count;
                },
                $string);
        }

        $string = Yii::$app->sphinx->escapeMatchValue($string);

        foreach($array_replace as $key => $item){
            $string = str_replace($key, $item, $string);
        }

        return $string;
    }

Но проблема когда в строке нету больше слов кроме с условием "не", например:
!Привет
!Привет "