Самый быстрый старт дает
libSockets, но могут быть проблемы с гибкостью.
Asio дает кроме самих сокетов инструмент сервисов, которые, если понять как они устроены, позволяют получать очень гибкие решения.
Ну и есть классика реализации на нативных сокетах без лишних обвязок.
libevent не пробовал.
Ну и не стоит забывать о Qt. Второй по скорости старт из вышеперечисленных.
Думаю, что в вашем случае Asio подходит больше всего, учитывая опыт разработки на нем.
