Похоже, вам нужна штука, которая называется WebSockets, это позволит вам уведомить пользователя сразу после того, как другой пользователь ему что-то отправил. Удобная реализация такого взаимодействия в CleverStyle CMS, вот HTML страничка с документацией как это работает:
https://github.com/nazar-pc/CleverStyle-CMS/blob/m... (для удобства придется сохранить файл локально и открыть в браузере). Проще работы с WebSockets не видел. Выдержит много людей, так как соединение в Nginx весьма легкое, все пользователи будут подключены к одному процессу, так что большого расхода ресурсов тоже не будет.