Что использовать для подсчета слов в больших текстах?

Question

[alexh7854]

Здравствуйте.

Есть такая задача:

Нужно обрабатывать большие тексты, а именно книги.
Необходимо реализовать подсчет слов, предложений, сколько раз используется каждое слово в книге.

Это будет веб-сайт / сервис на php.

Подходит ли php для этой задачи?

Comments

[Сослан Хлоев]

str_word_count

Answer 1

[Moses Fender]

Что угодно подходит. Строка (текст) - это массив символов. Пили его, руби как хочешь, и считай.

Comments

[alexh7854]

вопрос в производительности.
Как то пытался искать слово используя регулярки в большом тексте, памяти не хватало или вообще зависал.

[Roman]

Illia Nezhyhai, 1000 страничная книга это ~1.8 Мб данных, если считать 1 байт == 1 символ.
арифметика простая https://ru.wikipedia.org/wiki/Авторский_лист 40000 = = 22-23 стр.
1000 / 23 = ~43
43 * 40000

вопрос в производительности.
Как то пытался искать слово используя регулярки в большом тексте, памяти не хватало или вообще зависал.

alexh7854, Профилирование

Answer 2

[pfg21]

для слов есть алгоритм прям в вики MapReduce, раздробить по количеству вычислительных возможностей и юзать.
сравнение слов классически по хешу, причем посдчет также раздробить внутри мапредуса можно. ну и не забыть нормализацию Е-Ё И-Й

подсчет совпадающих предложений бессмыслен, ибо таковых не найдется.