Сергей

А у меня есть решение, которое может отресолвить кучу DNS используя сторонние DNS-сервера. Скажем есть лист из 30к таких DNS-серверов, моё решение может взять 4 ГБ файл (емайлов) и отресолвить MX и A записи за время порядка 40 минут для обычного сервера без наворотов. Если интересно, то можно адаптировать под ваши нужды.

Файл лежит на диске, в случае одно поточной программы вы последовательно, байт за байтом, читаете файл.
В случае многопоточной, диск вынужден головкой крутить туда и сюда, т.е. время доступа к данным увеличивается.
Т.о. диск может быть узким местом для вашей системы. То что показывает загрузку 100% для процессоров - это ни о чем не говорит.

Второй вариант: внутри OpenCV возможно есть какой-то разделяемый ресурс, который не может быть использован одновременно всеми потоками. Т.о. возможно (я не специалист), достаточно скомпилировать OpenCV с поддержкой многопоточности.

У каждого клиента есть исходящий порт и IP. Соответственно ОС может определить в какой сокет отправлять данные когда пришел TCP пакет.

Следует различать потоки ОС и процессы в Erlang. Я не в курсе про C#, но насколько понимаю он делает потоки ОС (они очень тяжеловестные), чтобы сделать поток ОС надо сделать кучу дел.

Процессы Erlang в противовес потокам очень легковесны, например в памяти занимают минимум 512 байт, быстро создаются, быстро убиваются. ОС не знает об этих процессах, всю работу по обслуживанию (одновременному выполнению на доступных ядрах) берет на себя Erlang.

В ОС вы можете сделать ограниченное кол-во потоков, до 5000.
В Erlang вы можете множить процессы как вам вздумается, главное чтобы памяти хватило. Порядок числа 100000-1000000.

P.S. Добавьте тег Erlang.

А можно не использовать C++ с его дедлоками, и работой с памятью. Достаточно поменять инструмент решения проблемы. Например взять Erlang, где проблемы параллельного программирования сведены к минимуму + можно подключать C\C++\что-то еще вставки для быстродействия.

1. Использовать много разных DNS для ресолвинга имен.
2. Использовать многопоточный парсер, который будет создавать 100000 потоков для парсинга + 1000 для определения доменного имени + увязать это все одно целое. Как вариант использовать для этого дела Erlang ;)