Как написать быстрый парсер на PHP?

Question

[PendalF89]

Написал многопроцессорный парсер на PHP, не устраивает скорость работы ~25 записей в секунду (что 50, что 200 процессов - не важно, всё равно выше 27 записей в секунду скорость не поднимается).
Примерный алгоритм следующий:

1. в MySQL хранится список ссылок
   
2. В консоли висит php-скрипт с бексонечным циклом, который через exec() запускает нужное число php-скриптов и передаёт им url'ы из базы
   

Что я делаю не так? Почему увеличение количества процессов не увеличивает скорость обработки данных?

Comments

[kafkiansky]

Замечание:

Если вы собираетесь использовать эту функцию в программе, работающей в качестве демона, убедитесь, что стандартный вывод функции направлен в файл или другой поток, в противном случае PHP зависнет вплоть до конца выполнения программы.

[PendalF89]

Ок, спасибо, учту

[Дмитрий Свиридов]

PendalF89, для работы с базой пул коннектов используете?

[PendalF89]

Дмитрий Свиридов, честно говоря не знаю)
Но на каждом процессе идёт свое подключение к базе

Answer 1

[Ivan Yakushenko]

Так а скорости то хватает? Если предположить, что средний вес загружаемой страницы ~450кб, то для загрузки 25 таких страниц как раз нужно ~90 мбит/сек: 450кб * 25 = 11250кб/сек = 11,25мб/сек = 90мбит/сек.

Comments

[PendalF89]

Не думал об этом, но совет дельный. В моём случае средний вес страницы ~50кб, канал 100мбит/сек

[Ivan Yakushenko]

PendalF89, учти, что скрипт целиком и полностью не состоит из полезной нагрузки на сеть, попробуй замерить время за которое скрипт получает данные в 1 потоке к 1 странице. Узких мест может быть масса, для начала определись от чего отталкиваться. Элементарно даже большой пинг, который может заставлять при таких объемах твой скрипт висеть по 15-20 секунд каждую минуту.

[PendalF89]

В среднем обработка 1 записи занимает ~3 секунды в однопотоке. Вспомнил, что когда-то давно я применял подобный подход к другому сайту с другим парсером на другой машине и тоже уперся в эти самые 25 секунд.

[Ivan Yakushenko]

PendalF89, увы в контексте php я ничего подсказать не могу, так как очень плохо его знаю и то на уровне как из бд чет вывести на страницу.

Answer 2

[xmoonlight]

parallel (pthreads) - лучше: нет вариантов для PHP.

parallel is a parallel concurrency extension for PHP 7.2+.

Comments

[PendalF89]

Думал насчёт этого и скорее всего воспользуюсь, но я слышал что это расширение перестанет поддерживаться после с PHP 7.4 и вместо него теперь Parallel. В связи с этим, что посоветуете взять?

[xmoonlight]

PendalF89, оу! Однозначно parallel

[PendalF89]

xmoonlight, спасибо)

[batyrmastyr]

PendalF89, создавать процессы через pcntl. С полгода назад решил для себя, что parallel непригоден для сколь-нибудь сложных задач так как при исключении в обработчике было невозможно узнать ни от чего он помер, ни даже факт его смерти.

[PendalF89]

batyrmastyr, тоже уже успел попробовать parallel, столкнулся с очень скудной документацией.
А почему лучше через pcntl, чем exec?

[batyrmastyr]

PendalF89, мне нужно было кое-что сделать после выполнения всех дочерних процессов.

foreach ($ids as $id) {
            $pid = pcntl_fork();
            if ($pid == -1) {
                throw new Exception('could not fork');
            }

            if ($pid === 0) {
                //в дочернем процессе банально запускаю команду с нужными параметрами. Проще будет найти и убить если процесс почему-то зависнет.
                exec('command ' . $id);
                
                //для дочернего процесса вся работа выполнена
                return;
            }
        }

        while (pcntl_waitpid(0, $status) !== -1) {
            //получаем сигнал о завершении одного из дочерних процессов
        }
        //все дочерние процессы завершились.

С точки зрения архитектуры правильнее будет разделить скачивание страниц (хватит и одного процесса) и их парсинг (N процессов).
При скачивании делаете параллельные запросы через curl_multi с заданными параметрами CURLMOPT_MAX_HOST_CONNECTIONS и CURLMOPT_MAX_TOTAL_CONNECTIONS.
Так и сервер получше загрузите, и узнаете во что именно упираетесь.

[PendalF89]

batyrmastyr, спасибо большое за пример кода! Насчёт архитектуры тоже интересная мысль.

Answer 3

[Uno]

Писать его на С++

Comments

[d'Ivan]

А если написать на Rust?

[Антон Шаманов]

Роман Мирр, да тож по пидарски, пишите на машинном коде - 100% быстрее

[d'Ivan]

Антон Шаманов, я решил не перегибать палку.

[Uno]

Лучше всего на перфокартах кстати

Answer 4

[Andrey Uteshev]

сайты быстро открываются?
объемы страниц/файлов какие?
можно из консоли запустить 10 php.
1-ый будет брать урл с id кончающимся на 1.
и так далее.

Comments

[PendalF89]

Да, сайты открываются быстро, объём примерно 50 кб. Сейчас так и работает, только я каждому скрипту передаю аргументом диапазон id для парсинга.