Как выполнять SOAP запросы в нескольких параллельных потоках?

Question

[Сергей]

Собственно имеется API одного из интернет-магазинов. Нужно посредством этого API через php SoapClient получить наличие и цену товаров на складах. Дело в том что это API позволяет получить только один товар за один раз, мне же нужно пройтись по >47К+ позиций номенклатуры. Один запрос может работать от 400мс. до 2-3 сек. Понятно что перебор всей номенклатуры займет гигантское время!
Можно ли как-то реализовать перебор этой номенклатуры в нескольких параллельных потоках (хотя бы в десяти).
Список артикулов для перебора хранится базе данных.
Предполагается запуск скрипта на сервере в командной строке.
Дело усугубляется тем, что нужно получать данные из еще двух площадок, один из них также работает на SOAP, другой можно реализовать на cUPL-ах (мультипоточно).
Многопотчность нужна для того чтобы максимально сократить время обновления данных о товарах (почти 200К позиций).

Comments

[lil_koi]

Лучше взять golang и написать микро апит для такой задачи. Php тут так себе выбор

[Дмитрий]

Что мешает запускать несколько потоков soap?

[Сергей]

lil_koi, я думал про него, но я с ним знаком крайне "теоретически" )

[Сергей]

Дмитрий, Вот в том-то и вопрос, как запустить несколько потоков?

[Дмитрий]

Сергей, ну во первых вы может запускать php файл несколько раз. Во вторых написать свою обертку над curl или которая будет работать с soap в несколько потоков. Как бы soap это обычный запрос к серверу.

[Сергей]

Дмитрий,

ну во первых вы может запускать php файл несколько раз

а эти "несколько скриптов" будут работать параллельно? смогу я узнать когда скрипт закончит работу?

Как бы soap это обычный запрос к серверу.

Я в курсе. Но вот сервер в этом случае возвращает дичайший xml, совсем нет желания еще и его парсить!

[Дмитрий]

Сергей, если вы их запустите параллельно то они будут работать параллельно. Как они будут вам сообщать - ну не знаю, ваш скрипт наверное можно договориться куда он положит сообщение о том что он все. Можете заморочиться и с помощью reactphp или swoole написать какой нибудь менеджер процессов. Можете класть задачи в бд или очередь и оттуда демонами или кроном разбирать. Вариантов миллиард.

Дикий xml это как? Какая разница что разбирать - xml, json, массив или свойства объекта?

Answer 1

[Григорий Васильков]

Если SOAP запрос не удастся сделать через Curl, сделав все заголовки ручками, то установите "composer require react/async".

<?php

$loop = Loop::get();

$limitThreads = 3;

$soaps = [
  // ...
];

$tasks = [];

$limit = $limitThreads;
while ($limit--) {
   $soap = array_shift($soaps);

   $tasks[] = function () use ($soap) {
     // do soap request...
     return $result = doSoapRequest($soap);
   };
}

if ($tasks) {
  $results = await(parallel($tasks));

  foreach ($results as $result) {
    var_dump($result);
  }
}

$loop->run();

Answer 2

[mayton2019]

Давайте оценим время для 1 потока. 47К позиций - это надо полагать 47 тыщ SOAP-requests надо сделать. Берем среднее время 400 ms до 3s это будет допустим 1700 ms.

47000 * 1700 ms = 79900s = 1331min = 22hours.

22 часа на 1-поточную загрузку товаров.

Из личного впечатления. SOAP - это не очень быстрый протокол. Хрен его закешируешь на н-жинкс. И я думаю что если его запускать в 2-4-8 потоков то ситуация может усугубиться. Если время прыгает в диапазоне от 400 мс до нескольких секунд то это значит что нагрузка в базе плавает сильно. И владелец этого SOAP-сервиса будет ой как не в востороге от ваших экспериментов. Вряд-ли он предполагал что кто-то будет делать массовые выгрузки.

Самый лучший вариант - предупредить его письменно об этой задаче и о том что вы собираетесь делать. Возможно он сообразит что дело пахнет DDOS-ом и сам предложит вам другой вариант выгрузки.

Answer 3

[Антон Шаманов]

использовать php расширение parallel. если операция не разовая, то можно попробовать проверять по дате изменения страницы товара в sitemap.xml, чтобы не загружать все подряд.