Паттерн для асинхронных запросов?

Question

[bondle]

Задача: делать N асинхронных запросов, их результат поместить в один массив и записать.
Примерно так:


Реализоваться будет на php (и нет, очереди не подойдут)

ps: вопрос не про реализацию на php (а значит никакой php в тегах фигурировать не должен). Нет проблем с выбором асинхронных либ. Вопрос касается паттернов. Мне интересны примеры реализации подобных систем. Примеры реализации вы можете предоставить из совершенно любых ООП языков.

Comments

[DevMan]

bondle паттерны проектирования – вполне конкретный термин. к запросам никакого отношения не имеющий. а значит никакой паттерны проектирования в тегах фигурировать не должен

и если интересны реализации, надо спрашивать о них, а не о паттернах.

[bondle]

DevMan, вы ведь понимаете что такое паттерны?
вы понимаете как они применяются?
вы понимаете для чего они вообще нужны?
если так, то ответьте мне на вопрос - можно ли, например, паттерн object pool использовать для создания запросов из воркеров?

[N]

bondle, Друг, вместо того, чтобы "мериться" этими "пониманиями" - лучше прочитай ответ к твоему вопросу+комментарии к нему и попробуй реализовать так называемый "паттерн"...то, что тебе посоветовали - это подойдёт для решения такой задачи...

[DevMan]

bondle, я понимаю. поэтому и говорю, что данный тег тут не применим.
вам надо больше тегов? не вопрос: проектирование ПО.

[N]

DevMan, Вы правы.
Но под словом "паттерн" у многих это синоним - "шаблон действий для решения распространённых задач"...
Поэтому спорить тут бесполезно :)

[DevMan]

N, у многих для девушек используются синонимы телка/корова/курица/овца/etc.
но это не значит, что это нормально.

задача, как минимум в описанном варианте, спокойно решается вообще без всяких паттернов.

[N]

DevMan, Тут согласен. Но есть ещё и такое понятие: бей того - кто понимает...
:)))

Answer 1

[Сергей Соколов]

curl_multi

И альтернативная реальность возможность: Swoole — откройте мир асинхронного PHP и корутин!

Comments

[Ромзес Панагиотис]

Вы, кажется, не до конца прочли вопрос. Он сложнее, чем может показаться на первый взгляд.

[N]

Ромзес Панагиотис, Я, например, так же и понял вопрос (как в схеме)...вполне подойдёт curl_multi...
Дабы облегчить автору схему работы, могу предложить вот это:
stupid.su/php-curl_multi + почитать комменты в этой статье...
Этот же "пакет" на github:
https://github.com/2naive/AngryCurl

[bondle]

N, вопрос не был в реализации. Для реализации предполагается использовать guzzle. Вопрос в паттерне реализации подобной системы.

[Ромзес Панагиотис]

N,
помимо чтения множества URL нужно также записать их в общий массив. А это часть curl multi не решает вообще, насколько я понял.

https://www.php.net/manual/ru/function.curl-multi-...
Вот тут в комментариях нашел этот кусок

// iterate through the handles and get your content
    foreach ($aCurlHandles as $url=>$ch) {
        $html = curl_multi_getcontent($ch); // get the content
                // do what you want with the HTML
        curl_multi_remove_handle($mh, $ch); // remove the handle (assuming  you are done with it);
    }

Вот его и нужно изменить так, чтобы записать в общий массив.
Про мьютексы вообще нигде ни слова.

[N]

bondle, Ну, если грубо, то "на словах" такой паттерн примерно:

1. Делаем запросы по нужным URL с "калбэком" по отработке каждого;
2. Результат каждого "калбэка" куда-то сохраняем...ну или, если всё в одном процессе, то, например, закидываем в "глобальный" массив, который доступен из каждого этого "калбэка";
3. Профит. Common Result (шаг из схемы). Т.е. в конце у нас полный массив результатов из всех "калбэков"...

[N]

Ромзес Панагиотис, Глянь мой коммент выше...это я к тому: каким образом можно "собирать" всё в один массив...а тот пакет выше, который и основан на curl_multi - это позволит сделать с более простым кодом, чтобы сильно не вникать в сами процессы этого curl_multi...

[N]

bondle, P.S.: У guzzle есть все функции позволяющие сделать то же самое, что и в предложенном мной "пакете"...

[DevMan]

Ромзес Панагиотис,

Он сложнее, чем может показаться на первый взгляд

и чего же в этой задаче сложнее банальной записи в массив?

но надо пойти анальным путем и озадачиться паттернами. а потом завернуть это все в докер, накатить сверху кубер, и выкинуть на какие–нибудь авс, гцп или азуре.

[Ромзес Панагиотис]

DevMan,
О, какая речь! Ну а про состояние гонки при конкурентной записи в массив что вы можете сказать?
Тем более, мы не знаем что в итоге будет записано в массив.
В вопросе про паттерны не зря было спрошено.

[DevMan]

Ромзес Панагиотис, нет никакой конкурентной записи в однопоточном приложении.
запросы будут выполнены конкурентно, а запись ответов будет синхронной.

Answer 2

[Максим Грищенко]

Возьмите готовое решение guzzle — это http клиент
Вот у него есть готовое решение: https://guzzle3.readthedocs.io/http-client/client....