Как правильно искать совпадение по словам в php?

Question

[Сергей Нижний Новгород]

Всем привет

Есть большой архив переписки с клиентами. Задача автоматически сегментировать далоги, собрать эмоциональный окрас диалогов (все хорошо, проблема, продажи, конкуренты итд). Т.е. фактически прогнать все диалоги на наличие каких-то ключевых слов. Как это правильно сделать, чтобы не сильно проседать по скорости работы?

p.s. либо есть смысл уже использовать дерево с помощью python big data?

Comments

[sim3x]

The V's of Big Data: Velocity, Volume, Value, Variety, and Veracity. ... In order to make sense out of this overwhelming amount of data it is often broken down using five V's: Velocity, Volume, Value, Variety, and Veracity

Просьба не указывать бигдату в суе

[Станислав Б]

А большой это сколько?

Просто прогонами ключевых слов получите много ошибок. (но тут конечно зависит от ваших требований)
- Есть ли проблемы? Все хорошо?
- Больших проблем нет, но тревожат продажи конкурентов.

Answer 1

[Иван Шумов]

Либо прочитать, например, про Elastic Search или Sphinx

Answer 2

[Алексей Коновалов]

Вряд ли есть необходимость брать весь диалог, из-за возможности встречающихся ключевых слов в процессе разговора, не относящихся к сути обращения.
Имеет смысл взять только первое сообщение от клиента, в котором он излагал суть обращения. А значит сократить объем обрабатываемых данных. Если нет, то не сильно это усложнит обработку, если обрабатывать все сообщения, даже если их миллионы - Это же одиночная обработка. Дальше вы будуте обрабатывать новые входящие обращения на лету. Значит:
1. Выбрать первые сообщения всех диалогов из БД. (можно с использованием limit и пометкой после обработки, что этот диалог уже обработан).
2. Циклом пробегаетесь по всем полученным данным. Внутри цикла foreach с массивом ключевых слов а внутри foreach функция stripos(). если есть совпадение с ключевым словом - кидаем в массив совпадений ID диалога и ID ключевого слова.
3. После прохождения всех диалогов. Записываете в отдельную таблицу ID диалогов и ключевых слов одним запросом.

Далее все новые вопросы обрабатываете таким же способом. А список диалогов получаете так же как и получали, но уже с использованием JOINа к новой таблице, чтобы вывести соответствующие пометки

Answer 3

[Дмитрий]

NLP