Как придумать алгоритм — заменить слова в HTML на синонимы из массива при каждом вхождении?

Question

[Макс]

Не могу сообразить как сделать замену в HTML коде страницы.

Есть массив со словами (массивов будет около 1к, в каждом 3-50 элементов)
['rain ', 'rainfall', 'storm']

Нужно чтобы в тексте вхождение каждого из этих слов заменялось на любое другое из массива, в тексте любое из слов массива может встречаться 0-N раз. При это чтобы слово rain не все N вхождений заменилось на storm , а в случайном порядке с rainfall, и другими вариантами (если есть).

Вариант 1:

str_replace ( mixed $search , mixed $replace , mixed $subject [, int &$count ] ) : mixed

$search = подать массив с синонимами
$replace = подать какую-то конструкцию которую потом отдельной функцией обработать, например конструкция вида "spintax" {rain|clown|snow}.

Вариант 2:
Создать некий индекс / многомерный массив каждого слова имеющегося, например имею 50 массивов с вариантами замен, нашлось определенное слово из массива 20 имеющее индекс 2 , в тексте заменить его на $WORD_20_2 , далее отдельной функцией искать регуляркой $word_20_2 и менять на элементы массива 20 и слова с НЕ индексом 2.

Оба решения мне кажутся недостаточно элегантными, наверняка есть более интересные варианты и простые. Думал еще через preg_match_all с индексом на offset сделать, но не получается ибо длина слов всегда разная.

Answer 1

[Dimonchik]

думаешь Гугл наиипать? он таких умных на патенте вертел

по сабжу:
первым проходом меняешь искомое на СЛУЖЕБНОЕ
вторым формируешь массив замен (чиста па-прастому, но можно и па взрослому, с корпусами)
третьим меняешь СЛУЖЕБНОЕ на элементы массива

Comments

[Макс]

Не думаю, а получается уже, но делал до этого в полуручном режиме, хочу по-взрослому :)

По сабжу - это варик описанный мной...

[Dimonchik]

)) тогда вперед!

по -врозлому, если не секрет, на каком порядке страниц? 100к, миллион?

[Макс]

dimonchik2013, делал до этого 100 шабов спина на 100к страниц примерно, всего 500к вышло, через софт сторонний.

Сейчас делаю пока без синонимайза до 500к страниц в день, выйти надо на х20 мощность (серваки простаивают!) и со спином.

[Dimonchik]

ну ок, если работает и работает долго - завидую вбелую

Answer 2

[Robur]

разбейте все на массив слов - и пробегите по нему циклом или map собрав обратно, попутно заменяя слова как вам хочется

Comments

[Макс]

О, спасибо! Эта идея раньше не пришла в голову, а на деле одна из самых простых наверное получается.

Но, переживаю за производительность.

Вес 1 файла который нужно обработать - 300кБ, и это HTML код с JS и прочим, замен на такой файл придется 20 от силы в лучшем случае.

Только что сделал explode , получается 14500 элементов.
Далее для 1к массивов по 5 слов внутри итого 5к поисков по массиву в 14500 элементов функцией
php.net/manual/ru/function.array-keys.php получается по предварительным прикидкам очень долго и ресурсоемко.

[Robur]

Как часто вам нужно это делать и во сколько мс надо уложиться?
Какие лимиты по памяти/процессору?
Вы точно уверены что стоит переживать за производительность?

Если да - делайте оптимизации. обрабатывайте строки отдельно, explode замените на пробег в цикле с буфером куда будете складывать слова можно много чего еще придумать.

[Макс]

Robur,
1. Как часто вам нужно это делать и во сколько мс надо уложиться?
24/7/365

2. Какие лимиты по памяти/процессору?
Исхожу не от ограничений аппаратных, а от задачи. Если ресурсов будет требоваться слишком много, то , вероятно, игра не стоить свеч. Поэтому лучше исходить из меньше == лучше.

3. Вы точно уверены что стоит переживать за производительность?
Да, ответил в предыдущем пункте. Если ресурсов будет требоваться слишком много - смысла не имеет. Т.к. это тестовое направление деятельности, то желательно укладываться в базовые 2GB оперативки на скрипты , 2-4 CPU серверных cores (2.4 - 3.6 GHz), и делать хотя-бы пару страниц в секунду в один поток, потоков может быть десятка 2 одновременно.

> Если да - делайте оптимизации. обрабатывайте строки отдельно, explode замените на пробег в цикле с буфером куда будете складывать слова можно много чего еще придумать.
Ага, изначально сделал explode по пробелу, кэширование массивов придется делать похоже...