Надежен ли php multicurl при большом количестве запросов? Какие есть альтернативы?

Question

[Игорь Самохин]

Всем доброго вечера!

Сейчас есть надобность генерации нескольких обращений к php скрипту (с разными параметрами) параллельно, то есть в одно и то же время. Сделал через multicurl. Но у меня может быть 1000 вызовов единовременно. Не будет ли проблем?

Не зависнет ли multicurl при генерации 1000 обращений?

Какое можно применить более надежное решение для этой задачи, используя php?

Comments

[cryp24]

Здравствуйте, не знаю обитаете ли Вы еще в сети:), но все же интересно каковы Ваши результаты тестирования в этом направлении?

[Игорь Самохин]

cryp24, обитаю, насколько я помню то до какого-то количества потоков все ок, а потом глюки.. Вроде 10 точно тянет нормально..

[cryp24]

Игорь Самохин, спс

Answer 1

[Дмитрий Энтелис]

1000 запросов в параллели - это реально не мало.
Может упасть и по памяти, и провиснуть по трафику (если не dedicated сервер), и по быстродействию, и по антиддос.
Нюансов много, тестируйте.

Я бы пересмотрел архитектуру либо в сторону минимизации запросов (если это возможно вообще), либо в сторону введения очередей.

Comments

[Игорь Самохин]

А если сделать через php сокеты, через них надежнее будет?

[Дмитрий Энтелис]

Игорь Самохин: так они разве умеют в параллель?
в общем мы делали похожую историю, поднимали очередь и кучу демонов на разных серверах которые эту очередь разгребали.

[Игорь Самохин]

Дмитрий Энтелис: Иными словами: на нескольких серверах у вас были php скрипты с бесконечным временем работы, которые постоянно через multi curl генерировали, скажем по 100 потоков (обработка очереди)?

[Дмитрий Энтелис]

Игорь Самохин: мы долго экспериментировали, в итоге пришли к тому что ~10-20 демонов на 1м сервере работают быстрее без multi_curl. Это позволяло во первых более гибко использовать прокси, во вторых лучше управлять нагрузкой. Я по тексту так понял что Вы планируете обращаться к собственному скрипту? Расскажите задачу целиком пожалуйста, мне кажется это может решаться по другому.

[Игорь Самохин]

Дмитрий Энтелис: да, собираюсь обращаться к собственном скрипту и передавать туда параметры. Задача - работа с апи ВК (получение постов с группы) в определенное время с определенным интервалом (согласно настройкам пользователя)

Пользователей много. Много одинаковых интервалов и время часто совпадает (просто группы ВК с которых получаем посты - разные)

[Дмитрий Энтелис]

Игорь Самохин: у vk api лимиты таки есть. https://vk.com/dev/api_requests

[Игорь Самохин]

Дмитрий Энтелис: про лимиты мы в курсе. Они обходятся при постинге через оф. приложение

Answer 2

[Andrzej Wielski]

Зависит от сервера.
Падает не стесняясь (без ошибок и предупреждений), не отдавая результатом потока ничего.
На среднем VDS максимум 100 одновременных запросов удалось выжать, и то иногда выполнялось около 95.

Comments

[Игорь Самохин]

То есть все упирается в сервер и канал? А если я выделенный сервер возьму с 1гбит/сек?

[Andrzej Wielski]

Игорь Самохин: Проблем быть не должно. Но все равно стоит написать обработку ответов (если curl вернул вселенскую пустоту - повторить запрос).

Answer 3

[Mikhail Osher]

Гипотетически, надёжен.
Я бы взял Guzzle.

docs.guzzlephp.org/en/latest/quickstart.html#concu...

Comments

[Дмитрий Энтелис]

вы так говорите как будто у guzzle внутри что то другое

Answer 4

[Dimonchik]

PyCurl нормально жужит примерно на 300 запросах, 1000 не тянет - куча отваливается по таймауту, 500, наверно, тянет, только одновременно все равно около 300

Comments

[Игорь Самохин]

Это на python? Так может запросы отваливаются не по вине curl, а на уровне сервера или хостера их блочат?

[Dimonchik]

возможно, через прокси - вообще не более 150, это из дома, с сервера не пробовал

[Bjornie]

dimonchik2013 вы мне в соседней теме посоветовали multicurl под PHP. Что же, есть вариант использовать PyCurl, который будет еще эффективнее?

Answer 5

[astrotrain]

Решением может быть pthreads: https://github.com/krakjoe/pthreads , только документации не так много и разработчик не всегда отвечает на вопросы.

Comments

[Игорь Самохин]

astrotrain Чем это решение лучше php multicurl? Оно сделано на сокетах наверное, либо на том же curl?

[astrotrain]

Игорь Самохин: Тем что там полное управление потоками. В них можно любую задачу запускать, а не только curl.