Почему нельзя один экземпляр ресурсоемкого кода не полностью загружает CPU?

Question

[NoEscape]

Вне зависимости от сложности вычислений и количества потоков у меня не получается занять 100% CPU одним экземпляром программы. Зато, если запустить 2-3 экземпляра то CPU можно заставить работать на полную.

Вопрос: как передать программе полномочия использовать все ресурсы процессора на 100%?

Answer 1

[zvorygin]

А программа кроме CPU ничего не нагружает? Может ввод-вывод мешает? А так - поднять приоритет и будет больше CPU.

Comments

[NoEscape]

Грузит ещё интернет (но там работа с апи, от силы 2% ширины канала ест) и файловую систему (10-20%). Поднять приоритет чего? У меня у всех потоков ThreadPriority.Highest;

[zvorygin]

@NoEscape Ну так пока она ждет ответа от сети или от винчестера она не может грузить CPU. Можно попробовать запустить потоков "с запасом" - в два раза больше чем ядер - тогда, возможно, на все 100 будет кушаться.

[NoEscape]

Тестировал с разным количеством потоков. При 10 и 150 результаты примерно одинаковые и по нагрузке сети и по CPU. Вы правы, в основном время ест выкачка html кода (без него скорость обработки- 20 млн функций\сек, с ним- ~3500 функций\сек). Однако, сеть почти не нагружается. А вот если запустить кучу экземпляров то можно подгрузить сеть до 10-20%.

Я так понял, нужно добиться результата, когда программе выдается приоритет на работу с сетью и доступ ко всей ширине канала.

[NoEscape]

А, и ещё: функция скачки хтмл кода в 99% случаев возвращает одну из ошибок (если возвратился код, а не огшибка, то мы добились результата). Соответственно, GetHTML находится в блоке try catch. Может можно как то игнорировать исключения при скачивании хтмл и в случае ошибки просто ничего не возвращать? Я слышал, try catch есть много ресурсов.

[zvorygin]

@NoEscape Важно еще и чтобы удаленный сервер, который вы мучаете, успевал генерировать Вам страницы для парсера - если он медленный (или провайдер режет скорость, или медленный роутер, или еще что-то), то вам не загрузить сеть на 100%. Смотреть на "загруженность" сети по диспетчеру задач весьма однобоко, как мне кажется.

[NoEscape]

Я не только по нему смотрю. Парадокс в том, что запуская в экземпляра каждый выдает около 3500 функций, включающих скачивания хтмл в секунду, из чего я сделал вывод что сервер справляется прекрасно, просто один экземпляр программы чего то не хочет работать в полную мощь (которую выдают 3 одновременно запущенных экземпляра).

[zvorygin]

Я не знаю, каким API и библиотекой вы пользуетесь - возможно оно искусственно ограничивает частоту запросов к одному и тому же серверу, но при использовании разных процессов это ограничение снимается, т.к. сложнее отследить использования.

[NoEscape]

Пользуюсь стандартной библиотекой в System.Net:
try { new WebClient().DownloadString("https://api.....");
Done = true;
}
catch{};

[zvorygin]

@NoEscape Я правильно понимаю, что один экземляр на 10 потоков работает медленнее двух экземпляров по 5 потоков каждый?

[NoEscape]

1-5 потоков дают 1000-2000ф\сек. От 10 до 150 потоков одинаково по ~4500

Answer 2

[Николай Турнавиотов]

ограничение по пожиранию процессора на процесс не стоит?

Answer 3

[Илья Глебов]

Проще всего разобраться с помощью Concurrency Visualizer