Как правильно настроить обработку больших текстовых файлов на сервере, используя php?

Question

[alexh7854]

Здравствуйте.

Есть скрипт для подстчета слов в тексте, написан на php.
Пользователи будут загружать тексты и получать статистику текста.

Проверял большие тексты, обрабатываются довольно быстро, до 2-5 секунд. Использование памяти на самом большом тестовом тексте было 400 мегабайт.

Вопрос в том, как правильно настроить обработку файлов на сервере. Если 10 пользователей одновремено отправят тексты на обработку, памяти не хватит.

Нужно ли 2 сервера? Один для сайта, а второй для обработки текстов?
Нужно написать и настроить php демон, который например будет следить за загруженными файлами, обрабаывать новые и удалять обработанные?

Какие есть решения?

Comments

[Евгений Самсонов]

Да, лучше сделать очередь и фоновую обработку текстов. Можно использовать систему очередей (например, RabbitMQ). При необходимости обработку можно будет вынести на отдельные сервера (если файлы большие, их много и обрабатывать требуется быстро)

Answer 1

[Александр]

Какие есть решения?

Да всё в принципе просто: не нужно загонять содержимое всего файла в оперативку, его можно считывать небольшими блоками.

Answer 2

[FanatPHP]

$count = shell_exec("wc ".escapeshellarg($filename));

Comments

[Анатолий Медведев]

Вы строки считаете а надо:

Есть скрипт для подстчета слов в тексте

для этого ключ -w вроде как, но всё равно это не решение ибо человеку вероятно нужно считать не только общее число слов но и дать статистику по частоте.

[FanatPHP]

ой да, спасибо. я так привык строки считать что на автомате написал

Answer 3

[ThunderCat]

вроде вам прямая дорога в еластиксерч.

Comments

[Антон Шаманов]

там скорее сноубол от дедушки поттера