PHP XMPP 24/7 бот

Question

[icegreenberry]

Здравствуйте. Возникла потребность написать jabber-бота, который будет работать круглосуточно, при этом принимая и отправляя около 2000 сообщений в час и работая с БД MongoDB.
Работать бот будет на Linux, но поскольку у меня нету достаточных знаний C/С++ (что предпочтительнее для этой задачи), я хочу написать его на PHP 5.3.
Но как с подобного рода задачами обстоят дела у PHP? Не будет у такого скрипта низкая производительность? Не будет ли он «сжирать» память?
Спасибо за подсказки.

Comments

[icegreenberry]

Хочу уточнить, что мне нужно обрабатывать принятые сообщение сразу, без ощутимой задержки. Так что принимать все за раз, а потом отвечать на каждое — не вариант.

Answer 1

[Riateche]

В свое время пытался решить подобную задачу. Ничего хорошего из этого не вышло: соединение постоянно рвалось или зависало. В принципе, проблем с памятью быть не должно. Если же они будут, можно перезапускать скрипт через определенные промежутки времени, это не страшно.

Я бы посоветовал освоить один из более высокоуровневых языков (например, Python или Ruby). Освоить Ruby на начальном уровне — дело одного дня, а подобные задачи на нем решаются на порядок проще.

Answer 2

[shsmad]

python + twisted?

Answer 3

[VBart]

Потратьте пару дней на изучение Python и напишите на нем (можно, как уже упоминалось, взять Twisted). Будет гораздо лучше, как для вас, так и для решения задачи.

Comments

[Владимир Чернышев]

За пару дней, имхо, никакой язык для написания демона, работающего 24/7, не изучить (разве что попадётся литература/готовый проект/фреймворк очень похожие на нужную задачу)

[VBart]

ИМХО именно столько нужно, чтобы вдумчиво прочитать tutorial на официальном сайте. Этих знаний + документации по какой-нибудь python-xmpp библиотеке — будет вполне достаточно.

[Владимир Чернышев]

Библиотека и документация к ней попадает под «разве что попадётся...». В стандартных либах python, если мне память не изменяет, поддержки XMPP нет, а в туториале работа с сетью практически не раскрыта.

[VBart]

Начнем с того, что многие XMPP-транспорты написаны, как раз, на Python. И если, прежде чем писать «разве что попадётся...» хоть чуточку погуглить, то можно обнаружить полно всего и нередко с хорошей документацией. Первое, что попалось на глаза:
xmpppy.sourceforge.net/
— xmpppy is a Python library that is targeted to provide easy scripting with Jabber.

pyxmpp.jajcus.net/
— PyXMPP is a Python XMPP (RFC 3920,3921) and Jabber (http://www.jabber.org/protocol/) implementation.

github.com/fritzy/SleekXMPP#readme
— SleekXMPP is an XMPP library written for Python 3.1+ (with 2.6 compatibility)

trac.defuze.org/wiki/headstock
— A Python library to handle the XMPP protocol and extensions.

thp.io/2007/python-jabberbot/
— This is python-jabberbot, a Jabber bot framework for Python that enables you to easily write simple Jabber bots.

github.com/sorki/pyjabberbot#readme
— Xmpp/jabber bot framework makes implementation of your jabber bot straightforward and quick.

github.com/ajdiaz/whistler#readme
— Whistler Bot is an XMPP bot written in python using pyxmpp, which is a requirement. The bot is designed to handle some commands, and it's easy to extend.

Итого, автор вопроса, может потратить пару дней на изучение основ пайтона, а затем в кратчайшие сроки легко и просто написать своего бота, взяв за основу одну из штуковин перечисленных выше. Либо писать гораздо больше и гораздо мучительнее все это на php, а потом, преодолевать странности и бороться с утечками php интерпретатора, работающего в нестандартном для него режиме.

[Владимир Чернышев]

Если погуглить, то и для PHP можно библиотеки найти, но про библиотеки в вопросе вообще ни слова, что, имхо, подразумевает реализацию протокола с нуля, без завязок на что-либо кроме стандартных библиотек (а-ля «Not Invented Here»). Чем на хорошо знакомом языке писать одно и то же гораздо больше и мучительней, чем на малознакомом? Может я что-то пропустил при изучении (большем, чем пара дней) python и у него парсинг и формирование XML на порядки лучше php? Или работа с сокетами реализуется не оберткой тех же системных вызовов?

Шла бы речь о написании сервера, первым бы предложил ТС глянуть в сторону python (хотя сам сейчас для аналогичной задачи erlang изучаю) — SocketServer удобная штука, в стандартных либах PHP такой высокоуровневой обёртки нет. А так никаких особых преимуществ — кроме экономии на $, {} и -> — не вижу, многое можно переносить туда-обратно чуть ли не через find&replace (чем, собственно, с лета потихоньку занимаюсь, портируя один проект на php под GAE) — PHP и Python (а также Ruby) языки примерно одного класса при сравнении с C/C++/Java/C#/… или Lisp/Erlang/… Имхо, значимые преимущества python (и ruby) не свойства языков как таковых, а наработки кода сообществ, но если нет возможности/желания их использовать, разбираться в чужом коде, перенимать или, хотя бы, вникать в стандарты и культуру кодирования и т. п., то, повторюсь, особых преимуществ нет, по крайней мере при использовании императивной парадигмы, разве что GAE python поддерживает, а php нет. Различия, нюансы, сахар — есть, но это дело вкуса. Плюс — личное мнение — русскоязычное сообщество python куда менее терпимо к новичкам, чем у «пехепешников», к вопросам «как сделать», «как лучше сделать» и т. п. — хорошо если скажут «посмотри как там-то сделано», а чаще «не изобретай велосипед, возьми джанго/твистед/пилонс/зоп (хотя вру, зоп я сам где-то откопал), там всё это и ещё много чего давно сделано» — собственно ваш коммент практически такой же :)

[VBart]

Эк, видимо вы не сталкивались с утечками памяти в самом интерпретаторе php. Практически все веб-приложения на php работают по одному принципу, как конвейер. Инициализация -> Обработка запроса -> Возврат ответа, и так каждый запрос, php-код при этом не выполняется непрерывно, а завершается. Это позволяет довольно грубо обращаться с памятью и добавляет оверхэд на инициализацию, поэтому любой ruby\python для современных веб-приложений на мощных фреймворках с нетривиальной конфигурацией в сто крат лучше.

Никогда не задумывались, почему практически никто не пытается писать на php десктопные приложения с gui, всякие демоны и прочие? Таких примеров единицы, и применение их 24/7 в продакшене вызывает большие сомнения. PHP течет как дырявое корыто: www.google.com/search?q=php+memory+leak, словить в нем утечку проще простого. Может быть я не в курсе, давно на нем ничего не пишу, и возможно в новых версия с этим гораздо лучше, но никто не гарантирует, что при этом не будут течь различные библиотеки. Thread-safety также вызывает сомнение.

[VBart]

Я смотрю в 5.3 таки добавили garbage collector, вот только насколько он хорошо работает, учитывая, что это сравнительно недавнее нововведение, опциональное, посему накоплен весьма малый опыт его использования. Опять же это не исключает утечек в используемых расширениях, которые скорее всего особо и не отлаживались в таком режиме работы.

[Владимир Чернышев]

На 4-м сталкивался, когда писал различные грабберы и пытался реализовать многопоточность в условиях дешевого шаред хостинга. Мои нынешние эксперименты по реализации демонов на PHP 5.3.2 и 5.3.3 утечек не показывают, но для профилактики автоматический рестарт всё же делаю. Если не ошибаюсь, то идею рестарта взял из zope ;)

Answer 4

[Carzil]

Писал когда-то на python'e + xmpppy:
wiki.linuxformat.ru/index.php/LXF121:Python
xmpppy.sourceforge.net/

Answer 5

[korotovsky]

Вот тут http://steelbot.net можно найти Jabber бота, с плагинами и прочими плюшками. Лучший вариант из тех что я видел.

Comments

[NeonXP]

Помимо джаббер умеет еще и ICQ (хотя кому он щас нужен? но пусть будет). Вот только мне не сильно понравился слишком высокий уровень абстракции в нем. В свое время успешно реализовал все на чистом XMPPHP

[korotovsky]

Помойму, это наоборот плюс)

Answer 6

[slang]

2000 в час, это в среднем 1 сообщение раз в 1.8 секунды, вы действительно думаете что это серьёзная нагрузка? РНРшный CLI демон спокойно справится, тем более что будет резвый NoSQL-сторейдж.

Answer 7

[Владимир Чернышев]

Производительности вполне достаточно для таких нагрузок, если логика бота простая, а не нейронная сеть для прохождения теста Тьюринга :)

Чтобы многое не писать с нуля советую глянуть на phpdaemon На хабре о нём тоже писали

Answer 8

[Horse]

2000 сообщений в час — не большая нагрузка для stateless (а я так понимаю, от состояний мало что зависит). В первую очередь нужно оптимизировать запросы к БД. А про сам XMPP можно не парится, уверен, что низкоуровневой работы с памятью, потоками, соккетами вам не требуется. Если есть готовая библиоткеа на php — используйте и не бойтесь — даже будет лучше, бо с++ web приложения они компилятся в нативный код и небольшая ошибка сделает ваш XMPP бот не готовым к 24/7. А в php ошибки не влияют на само приложение (web сервер не остановится). nginx (или что там у вас) разберется с памятью на должном уровне. Главное чтобы не apache).

Comments

[NeonXP]

Ээээ, а при чем тут веб-сервер? Надо думать, человек собирается запускать в PHP-CLI.

А по существу, писал, не под такие нагрузки и не на монго, но работало прекрасно. Зависит от качества самого кода.

[Horse]

Веб-сервер тут при том, а, собственно, действительно, при чем? Просто php ассоциируется с Веб-серверами.

Согласен. Ну на php будет легче и достаточно, к томуже человек с ним уже хорошо знаком.

Answer 9

[OdaN]

Для пхп есть готовые скрипты: code.google.com/p/xmpphp/. Писал на его основе бота себе. Впринципе при небольшом допиливании вполне рабочий инструмент.