Как поймать зловредный процесс?

Question

[Дмитрий Кинаш]

Ситуация: Есть сервер под управлением Linux (Ubuntu 12.04) без графической оболочки. Раньше работа была более менее без нареканий. Но в последнее время нечто из программного обеспечения стало вести себя неадекватно.

Было замечено, что доступ к сайту затруднен (мягко говоря). Подключаюсь по SSH и наблюдаю при этом жуткие тормоза. От момента ввода команды «top» до вывода информации прошло около 1,5 минут. Но полученная информация была не информативной — самые активные из процессов использовали 30-40% процессорного времени (2 ядра, т.е. максимально доступно у нас бывает 200% на процесс, но я такого уже давно не видел), так же не увидел ничего подозрительного по потреблению памяти. Команда «df» показывает наличие достаточного количества свободного места.

Есть две гипотезы: 1) какой-то процесс явно нагружает дисковую подсистему перелопачивая/создавая файлы (или другие объекты файловой системы); 2) какие-то процессы упорно что-то шлют/качают по сети.

Прошу помощи с командами, которые могут показать в динамике какие процессы: 1) читают/записывают большое количество файлов; 2) создают максимальный сетевой трафик.

Answer 1

[wickedweasel]

Название вопроса и Ваш ник вместе доставляют :)

По теме: iotop, nethogs, iptraf

Answer 2

[denver]

> 1) читают/записывают большое количество файлов
iotop

Answer 3

[Игорь]

остаётся надеяться, что это не руткит. Иначе искать его будет несколько сложнее

Answer 4

[Ajex]

детальное описание всех топов.
habrahabr.ru/post/114082/

Также может пригодится:
iftop — мониторинг загрузки канала в реальном времен
ethstats — показывает колв-во соединений и загрузку канала
cat /proc/net/ip_conntrack — покажет активные соединения

еще много интересного можно узнать командой stat, хотя вышеперечисленного должно быть достаточно вам для диагностики проблемы.

Answer 5

[sledopit]

Ещё есть iostat, sar, pidstat, etc из пакета sysstat. Очень выручает в подобных ситуациях.

Answer 6

[Vorb]

Сеть не дает перегрузку, если что-то сетевое и тормозит, то из-за дисков, например торренты довольно серьезно нагружают дисковую подсистему.
Во первых, проверь показания sar -d 1 10. Если нагружены диски — копай дальше в сторону iotop, iostat, если нет — смотри память по команде free или top.

Answer 7

[Константин Власов]

Ещё один вариант: кончается оперативка и начинается активный своппинг. Увидеть можно как по top'у (мало свободной памяти, заюзано много свопа), так и по iotop'у (активный kswap).

Answer 8

[eaa]

память тем же top посмотрите — иногда ядро начинает свопить и все ресурсы идут на это дело

Answer 9

[Николай Турнавиотов]

кстати, как выше заметили про руткиты — советую проверить машинку, но если руткит уже запущен — он вполне может спрятаться, для таких ситуаций обычно поднимают копию машинки на виртуалке, с мониторингом трафика и тотальной проверкой системы — хешей и подписей пакетов и контрольных сумм