xmoonlight

it is a thin layer on top of HTTP

и этим всё сказано
Никаких либ! Сразу бинарник. :))

Я бы делал по-старинке: больше возможностей для дальнейшего расширения функционала и полностью свой контролируемый код.

Создание асинхронного (неблокирующего) сокет-сервера на С++.
После этого - будете адаптировать его под веб-сокет-сервер.

На phreads в примерах там можно всё найти.
Т.е. из SocketServer.php сделать WebSocketServer парой строк.

Openfire + Любой Wiki-движок!

https://thecoccinella.org/node/4.html

"Белый"/"черный" список участников (ID/хешей) на клиентах решает проблему мгновенно.

Все четко сказал landergate!
Я добавлю к его ответу:
1. Сделайте кнопку "спам" (значок + диалоговое окно для подтверждения) напротив каждого сообщения юзера в чате.
2. Если юзер получил 50% или более голосов от других пользователей (для подсчета процентов, фиксируем кол-во пользователей в чате на момент входа юзера в чат-комнату), что он спамер - заносим этот IP в бан-лист на 1 час и фиксируем IP и кол-во штрафов в базе.
3. Если снова получил этот же IP: бан на день, затем (при следующем штрафе) - на месяц, на 3, на пол-года и перманентный.