Как работают сайты типа respond.ly — поддержка многих longpoll или comet соединений?
С помощью respond.ly можно "слушать" мнения о себе в twitter, а также принимать и отвечать на входящие сообщения. Причем как в реальном режиме, так и нет: если пришло какое-то сообщение, то будет доставлено оповещение о нем по почте.
Для не-live режима я представляю это так, что на их стороне должны крутиться какие-то сервисы, которые бы периодически опрашивали твиттер и отсылали оповещения. А как работает режим получения сообщений в реальном времени? Как это масштабируется?
Подписка на сообщения канала сокета - обычный сокет-сервер. (например, node.js...)
Про масштабируемость - читайте в документации к выбранному сокет-серверу.
