Есть 100к URL. Нужно спарсить их содержимое. Как сделать обход этого количества в 5 поток одновременно (php+curl)?

Question

[oe24y]

В базе есть список из 100 000 URL-адресов.
Если в один поток в цикле перебирать - займет много времени.
Как сделать обход этого количества, но запускать каждые 5 URL одновременно?
Интересует в первую очередь CURL+PHP.

Answer 1

[Андрей Седышев]

Можете взять любой HTTP client, например, Guzzle.
Но, внутри он всё равно использует curl_multi_*.

use GuzzleHttp\Pool;
use GuzzleHttp\Client;
use GuzzleHttp\Psr7\Request;

$client = new Client();

$requests = function ($total) {
    $uri = 'http://127.0.0.1:8126/guzzle-server/perf';
    for ($i = 0; $i < $total; $i++) {
        yield new Request('GET', $uri);
    }
};

$pool = new Pool($client, $requests(100), [
    'concurrency' => 5,
    'fulfilled' => function ($response, $index) {
        // this is delivered each successful response
    },
    'rejected' => function ($reason, $index) {
        // this is delivered each failed request
    },
]);

// Initiate the transfers and create a promise
$promise = $pool->promise();

// Force the pool of requests to complete.
$promise->wait();

Ссылка на пример: docs.guzzlephp.org/en/stable/quickstart.html#concu...

Answer 2

[grinat]

php.net/manual/ru/function.curl-multi-init.php

Comments

[oe24y]

grinat
Да, но тут он просто создаст 100 000 потоков, разве нет?
(не могу найти в интернете куски кода под мой случай. а ведь он не редкий)

[grinat]

oe24y, нет, он одновременно запросит столько url сколько нужно, хоть по 100к хоть по 5. И никакие потоки он не создает, php однопоточный, просто в curl уйдет и будет обработана пачка реквестов вместо одного.