Почему нельзя один экземпляр ресурсоемкого кода не полностью загружает CPU?

Грузит ещё интернет (но там работа с апи, от силы 2% ширины канала ест) и файловую систему (10-20%). Поднять приоритет чего? У меня у всех потоков ThreadPriority.Highest;

@NoEscape Ну так пока она ждет ответа от сети или от винчестера она не может грузить CPU. Можно попробовать запустить потоков "с запасом" - в два раза больше чем ядер - тогда, возможно, на все 100 будет кушаться.

Тестировал с разным количеством потоков. При 10 и 150 результаты примерно одинаковые и по нагрузке сети и по CPU. Вы правы, в основном время ест выкачка html кода (без него скорость обработки- 20 млн функций\сек, с ним- ~3500 функций\сек). Однако, сеть почти не нагружается. А вот если запустить кучу экземпляров то можно подгрузить сеть до 10-20%.

Я так понял, нужно добиться результата, когда программе выдается приоритет на работу с сетью и доступ ко всей ширине канала.

А, и ещё: функция скачки хтмл кода в 99% случаев возвращает одну из ошибок (если возвратился код, а не огшибка, то мы добились результата). Соответственно, GetHTML находится в блоке try catch. Может можно как то игнорировать исключения при скачивании хтмл и в случае ошибки просто ничего не возвращать? Я слышал, try catch есть много ресурсов.

@NoEscape Важно еще и чтобы удаленный сервер, который вы мучаете, успевал генерировать Вам страницы для парсера - если он медленный (или провайдер режет скорость, или медленный роутер, или еще что-то), то вам не загрузить сеть на 100%. Смотреть на "загруженность" сети по диспетчеру задач весьма однобоко, как мне кажется.

Я не только по нему смотрю. Парадокс в том, что запуская в экземпляра каждый выдает около 3500 функций, включающих скачивания хтмл в секунду, из чего я сделал вывод что сервер справляется прекрасно, просто один экземпляр программы чего то не хочет работать в полную мощь (которую выдают 3 одновременно запущенных экземпляра).

Я не знаю, каким API и библиотекой вы пользуетесь - возможно оно искусственно ограничивает частоту запросов к одному и тому же серверу, но при использовании разных процессов это ограничение снимается, т.к. сложнее отследить использования.

Пользуюсь стандартной библиотекой в System.Net:
try { new WebClient().DownloadString("https://api.....");
Done = true;
}
catch{};

@NoEscape Я правильно понимаю, что один экземляр на 10 потоков работает медленнее двух экземпляров по 5 потоков каждый?

1-5 потоков дают 1000-2000ф\сек. От 10 до 150 потоков одинаково по ~4500