Aсинхронную очередь заданий для PHP?

Question

[TBilyn]

Я разрабатываю веб сайт на Yii фреймворке, планируется что сайт будет высоко нагруженный (до 200,000 в день). Мне нужно будет обрабатывать картинки, отправлять почту и т.п. ну и нужно делать это асинхронно. Раньше я с таким не сталкивался и не знаю что выбрать. Посоветуйте что-нибудь.



UPD: всем спасибо, я склоняюсь к Gearman, но еще почитаю о RabbitMQ

Comments

[Максим Миронюк]

Будьте любезны и пометьте один из ответов как решение.

Answer 1

[Антон]

Есть сервер заданий — gearman — про него недавно статья как раз была. PHP с ним вполне работает — может как посылать задачи на него, так и получать и выполнять.

Comments

[Алексей Скахин]

Вот эта статья habrahabr.ru/post/142210/#comment_4759562

Answer 2

[Сергей Соколов]

RabbitMQ, вот про интеграцию с php

Answer 3

[EXSlim]

gearman

Answer 4

[Анатолий]

3 человека в секунду это очень даже не высокие нагрузки
Для рассинхронизации можете себе завести в бд (или где-то еще) табличку с заданиями и потом кроном выбирать по 10-20 заданий и обрабатывать их.

Comments

[Алексей Сундуков]

Поддерживаю. 200 кхитов на высокую нагрузку как-то не тянут. На PHP вполне реально уложившись в 200МБ ОЗУ отрабатывать этак миллионов 20 хитов, т.е. в сотня раз больше.

Answer 5

[Bardus]

ZeroMq
www.zeromq.org/

B вот хорошее выступление:
www.zfconf.ru/2012/talks/distributed-network-applications-with-zend-framework-2-and-zeromq/

Comments

[Aleks]

это все таки сообщения а не задания

[TBilyn]

в чем разница между очередью сообщений и очередью заданий?

Answer 6

[MuXaJIbI4]

зачем ломать голову над тем чего еще нет? :)

а насчет многопоточности можешь попробовать это github.com/amal/AzaThread

Answer 7

[sad]

Если выбор ваш падет все же на Gearman, советую обратить внимание на менеджер воркеров github.com/brianlmoon/GearmanManager. Мы его используем на своем проекте, с небольшими модификациями (кстати, тоже с Yii):

• новый класс приложения, который содержит в себе и запускает менеджер;
• новый механизм парсинга конфига, такой, что бы менеджер понимал свои же опции из конфига Yii;

Заодно еще пару советов по работе воркеров с менеджером:

• не пользуйтесь опцией max_worker_lifetime отличной от 0. Лучше в конце работы делать:
  $this->sendComplete($result);
exit(0);

  Так можно освободить ресурсы без боязни, что менеджер перезапустит воркер в середине его активной работы.
  
• выставьте auto_update = 0, особенно в продакшне.
  

Успехов.

Comments

[ilya_compman]

Привет! А разве max_worker_lifetime срабатывает не после отработки задания? И что не так с auto_update?)

[sad]

В первом случае воркеры могли завершаться по таймеру, даже если они были с заданием. Во втором — это лишние обращения к диску, от которых мы предпочли избавиться и при деплое перезапускать все воркеры скопом.

Answer 8

[egorinsk]

> высоконагруженный
> 200.000 в день

Answer 9

[phasma]

Если у тебя очереди только FIFO планируются, то можно юзать Gearman, если планируется LIFO, то он уже не подойдет. Вообще для очередей отлично подойдет Redis, например.