Как найти скрытые процессы, поедающие ресурсы процессора (Windows Server (RDP))?

Question

[Iwamoto]

Картинка снята в диспетчере задач запущенного от имени SYSTEM:


Коллеги!
Мучаюсь, просто до не могу.
Сервер терминалов (Windows Server 2008r2), иногда процессор в потолок 100%, отрываю процессы и не вижу ни одного процесса который жрет ресурсы и гнобит процессор.

Тоже самое касается фактически любого сервера до Windows Server 2019, всегда суть одна - бывают процессы жрущие ресурсы , но нигде в диспетчере задач или мониторе ресурсов - не видимые. Как найти виновные процессы и придушить их в таком случае? Чем можно увидеть такие процессы и исследовать?

Утилиты типа ProcessHacker / ProcessExplorer и прочие, так же ничего не показывают. Или я не нашёл где надо искать....

PS: Замечено давно, что если по кругу срубать появившиеся процесс rundll.exe - то нагрузка падает до нормы.

@echo off
@:loop
@taskkill /f /im rundll*
@ping 127.0.0.1 -n 15 2>nul>nul
@goto loop

Comments

[Максим Гришин]

А вы это всё запускаете с повышенными привилегиями или нет? На интерес покопайте psexec и от системы запустите, возможно у вас APT засел, сумевший закрыться ACL'ем от таскменеджера.

[Iwamoto]

Максим Гришин, Спасибо, попробую диспетчер задач запустить от имени системы. Я хорошо знаком с этой фишкой.

[rPman]

еще есть вопрос, что за железо? у тебя точно 1 ядро процессорное или в системе нет драйверов для многоядерных процессоров

[Iwamoto]

rPman, Это машина внутри Hyper-V. Это я вывел для удобства график в 1 цп.

[Iwamoto]

[rPman]

https://docs.microsoft.com/ru-ru/windows-server/vi...

В предыдущих гостевых операционных системах будут отсутствовать все доступные службы. Например, гости Windows Server 2008 R2 не могут иметь "интерфейс гостевой службы Hyper-V".

боюсь драйверов для 2008 не будет, можно попробовать вручную поставить

или пользоваться другой виртуалкой, например virtualbox, она заметно удобнее и функциональнее майкрософтовской

[Iwamoto]

в энтерпрайзе юзать виртуалбокс?) Очень хорошая идея!
А ради чего?

Интерфейс он не нужен. Службы там и так есть , они интегрированы.

[Iwamoto]

rPman,
Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт (Microsoft Corporation), 2009. Все права защищены.

C:\Users\1> REG QUERY "HKLM\Software\Microsoft\Virtual Machine\Auto" /v IntegrationServicesVersion

HKEY_LOCAL_MACHINE\Software\Microsoft\Virtual Machine\Auto
IntegrationServicesVersion REG_SZ 6.3.9600.18907

[rPman]

Странно а доки говорят что на 2008 их не будет, ок отлично, рад за тебя.

Теперь я не и сам не понимаю что происходит (ниже я писал про вариант проглючивший сервис обновлений но там обычно верная нагрузка показывается - проверь это остановив службу для теста)

Чем еще нагружен хост? может там параллельно 100500 машин крутятся?

p.s. чем virtualbox не устраивает не знаю, он однозначно выше по уровню чем ущербный майкрософтовский (кстати hyper-v виртуализация есть в virtualbox как опция), ок с оговорками

если совсем серьезно, для продакшна я бы вообще выбирал что то типа xen (можно даже бесплатный) а из платных тот же vmware esi

[Iwamoto]

rPman, я по практике на виртуализации давно сижу. Много чего перепробовал и видел. Конечно, лучше если бы был vmware enterprise, а коли его нет, то лучше чем Hyper-V нет. Никакой ущербности там нет, работаю много лет с ним уже.... тут не про него вопросы то.... а про процессы внутри винды. Проблемы с виндой такие у меня были и до виртуализации давно уж. Просто обычно шаманством спасали, то По меняли , то еще чего. А тут я упёрся в трабл и никак не могу найти концы глядя в процессы и диспетчеры задач... потому обратился за помощью.
Конечно же, все простые и средние варианты - давно проедены и проверены. Это не вирусы, не виртуализация. Скорее всего какие то дрова (скорее печати), и специфическое ПО на сервере с БД pervasive SQL. Оно очень обособленное и довольное большое, потому там могут быть какие угодно траблы.
Но как их выцепить, если диспетчер задач предательски молчит...

[rPman]

покажи диспетчер устройств - конкретно что там под Компьютер и Контроллеры ide/ata

просто проверь, что будет если скопировать в nul большой файлик (один чтобы не было фргментации) какая будет нагрузка в таскменеджере?

[Iwamoto]

[Iwamoto]

rPman, Проверил, реакции нет, нагрузку это не создаёт

[rPman]

еще один вопрос, а может это какая то виртуальная нагрузка, комбинация багов устаревшей ОС и современных систем виртуализации? фантомная, реально железо не нагружается? на хосте проверь

[Iwamoto]

rPman, На хосте таких машин еще висят 6 машин, в остальных все ровно. Траблы у меня только в этой конкретной машине, но в ней то больше всего и нагрузки (RDP/1C и т.п)

[rPman]

я бы провел эксперимент, установил бы похожую конфигурацию с нуля (не копированием), сначала чистая система, потом софт, нужно добиться такого же поведения на этом эксперименте

[Iwamoto]

rPman, Уловите мысль: речь не о конкретной машине. Проблемы эти были и будут на разных виндах. Вопрос в том как можно искать такие вот хитрые процессы, невидимые.

[rPman]

из тебя нужно информацию клещами тянуть?
раз проблемы на разных виртуальных машинах то значит проблема явно не в них а в хосте

[Iwamoto]

rPman, странная логика....
я разве сказал что все машины на этом хосте? или что они все виртуализированы? или я конкретную версию указал?

Я еще раз акцент делаю: Проблемы эти были и будут на разных виндах - впринципе.
Вопрос в том как можно искать такие вот хитрые процессы, невидимые, в таких случаях вообще.

[rPman]

ну так общие ответы тут были даны
дальше только при условии конкретики

[Iwamoto]

Тут нет нигде ответа, как можно искать/видеть такие процессы, невидимые, поедающие и пожирающие ресурсы CPU, в таких случаях.

единственный кто верно тут ответил:

@fzfx
по графику видно, что ЦПУ потребляет код, исполняющийся в режиме ядра, а раз так, то данный код может не соответствовать ни одному из запущенных процессов (т. е. это драйвер или само ядро). именно поэтому вы не видите ни одного нагружающего систему процесса.
отвечая на вопрос: в вашем случае никак не найти процессы, поедающие ресурсы процессора, потому что их нет.

Но я думаю что точно можно их как то увидеть или зафиксировать.

Answer 1

[vreitech]

по графику видно, что ЦПУ потребляет код, исполняющийся в режиме ядра, а раз так, то данный код может не соответствовать ни одному из запущенных процессов (т. е. это драйвер или само ядро). именно поэтому вы не видите ни одного нагружающего систему процесса.
отвечая на вопрос: в вашем случае никак не найти процессы, поедающие ресурсы процессора, потому что их нет.

Comments

[Iwamoto]

Как же быть в таком случае?

[Iwamoto]

Диспетчер задач запущен от имени SYSTEM:

//Откройте картинку в новой вкладке, что бы видеть в полном размере и качестве//

[Максим Гришин]

В таком виде - это проблема с драйвером какого-то устройства (а то и не с одним). Это время не идет в счет ни одному процессу, даже SYSTEM (4). А вот как ловить... предлагаю, раз у вас ВМ, начать отрубать устройства со стороны гипервизора, если вдруг в какой-то момент 80% system time пропадет, обновить по возможности драйвера на только-что-отключенное устройство. (Вот только я думаю, если у вас 19й гипер и 2008й сервер ВМ, не получится ли так, что новых драйверов не найдете?..)

[Iwamoto]

Максим Гришин, возможно, это дрова принтера, если такая мысль. Точно знаю что в большинстве случаев помогает срубание процессов rundll. Хотя в диспетчере задач rundll не является проблемой для процессора, но когда все процессы rundll срубаешь, то становится все ок, в большинстве случаев.
Вопрос как отловить что же там происходит....

[Максим Гришин]

Если это принтеры, вынесите их все на другую виртуалку и подключайте как сетевые - либо проблема всплывет там, либо мы просто исключим принтеры. ЕМНИП это вообще best practice - создавать отдельный сервер для работы с сетевыми принтерами.

[Iwamoto]

Максим Гришин, согласен. Но тут это же предположение, а доказать не могу. Ибо не вижу что за процессы жрут проц.

[Максим Гришин]

Iwamoto, да, предположение - а проверять-то его будете, или будете и дальше гадать на кофейной гуще и прибитых rundll32 с незафиксированными параметрами?

[Iwamoto]

Максим Гришин, а как иначе? я же обратился за советом. Может кто что скажет или направит на идею...

Answer 2

[Alexey Dmitriev]

Запустите сбор нужных логов через Performance Monitor, потом проанализируйте собранное.
Вот неплохая статья https://windowsnotes.ru/windows-server-2008/schetc...

Comments

[Iwamoto]

Поясните пожалуйста подробно, каким образом это поможет, если даже нет процесса который это делает с нагрузкой процессора в диспетчере задач и мониторе ресурсов..:?

[Alexey Dmitriev]

Iwamoto, в обычной системе нет скрытых процессов. или у вас сидит вирь, малварь, либо вы не успеваете заметить что-то. Для второго случая сбор счетчиков производительности как раз и нужен.

[Iwamoto]

Alexey Dmitriev, Вирусов там нет, это точно. Эта проблема существует ох как давно на Windows, и тут даже дело не в моем частном случае.... Более того на сервере есть антивирус.
Отчасти, да, это не скрытый процесс, но он не виден.

Что именно мне нужно, если вы так думаете, в счетчиках производительности именно мониторить?

[Alexey Dmitriev]

Iwamoto, у вас RDP наружу смотрит? Если да и нет никаких ограничений - вас брутфорсят. Загляните в eventvwr-security

[Iwamoto]

Alexey Dmitriev, нет конечно. Сервер строго в локальной сети, ограниченный узким кругом компьютеров в изолированном VLAN.

[Iwamoto]

[rPman]

касперский! отключи временно для теста
это самый жручий до ресурсов антивирус

[Iwamoto]

rPman, Конечно это уже делалось сто раз, т.ч. его удаление. Проблема была и до него и осталась при нем :)

Answer 3

[rPman]

Охх! 2008 сервер, небось и железо тех же времен? случайно нет ide работающего в режиме pio (софтварный режим, работа с диском дико нагружало процессор, выглядело именно так).

Драйвера то на сервере установлены? Потому как такую нагрузку дают обычно ядерные процессы, они в таскменеджере не отображаются. Так же я такую картину наблюдал на win, когда сильно нагружал win32 gdi, рисуя активно что-нибудь системными вызовами (мало кто сейчас так делает, все gui фреймворки рисуют в память сами)

По видео в посте видно что есть процесс svchost.exe 60% нагрузка покажи командную строку для него, там будет видно что именно за сервис его запустил... либо это вирус, который мимикрирует под службу

Comments

[Iwamoto]

Это виртуальная машина на Hyper-V.
Прошу не акцентировать вопрос на вирусах и на железе. Нет там ни вирусов, ни с проблем с драйверами и железом. Там очень мощный сервер, на нём стоит w2019/Hyper-V. В внутри виртуалка с w2008R2.
Проблема эта существует не только в рамках моей задачи, но в целом десяток лет, на разных железках и в разных компаниях.
Это вопрос общий , я бы сказал, что часто случается так, что процессор загружен, но выявить виновника нельзя.

В данном случае прав vreitech, он указал что:

что ЦПУ потребляет код, исполняющийся в режиме ядра, а раз так, то данный код может не соответствовать ни одному из запущенных процессов (т. е. это драйвер или само ядро). именно поэтому вы не видите ни одного нагружающего систему процесса.

Но как быть то?

[Iwamoto]

[Iwamoto]

[rPman]

я не понимаю, почему ты не понимаешь?

у тебя на видео в посте было четко видно приложение svchost.exe грузило 60%, надо точно понять какое именно из пары десятков его экземпляров с какой командной строкой тормозило

неужели непонятно?

p.s. конкретно netsvcs отвечает за много чего, чаще всего, если оно грузит процессор, это проблема со службой обновления или автоматической установкой драйверов.
решения разные, но легко гуглятся по каждому случаю

[Iwamoto]

rPman, не понимаю, почему непонятно тебе)
Это была лишь одноразовая флуктуация. Если бы я писал что меня беспокоит именно тот процесс, я бы на нём акцент ставил. Любой процесс может временно захватывать часть ресурсов. Это нормально. Тут не о том процессе речь. Те что реально в потолок проц мучают - их не видно в списках вообще. Посмотри другие гифки мои.

[rPman]

уже увидел видео выше уже, новый вопрос ответь