Вообще для сети boost.asio, прям совсем однозначно (кроссплатформенно, поддерживает IOCP, epoll, kqueue, неблокируемые сокеты, асинхронность), для многопоточности либо опять же boost, либо C++11, в вашем случае видимо boost (boost.thread, boost.atomic, boost.signals2), так же поглядите на tbb (неблокируемые очереди, алгоритмы и всё такое), легко, понятно, удобно.
Ну и если хотите на linux, то придется поддерживать и несколько компиляторов, а также и несколько стандартных библиотек.