Нашёл в системе (Ubuntu Server) подозрительный процесс, который сам не запускал. Какие действия предпринять?

Question

[smartup]

От нечего делать на VPS запустил top и увидел со скорбью странный процесс:

24051 webtin    20   0  9084 6680 1364 S    19  4.5 173:22.97 perl

Странен он тем, что perl для меня — абсолютно незнакомая штуковина и сам бы я никакой перловый скрипт, скорее всего, никогда бы не запустил. А он, получается, работает уже несколько суток и в определенные моменты отжирает вон по 19% процессора.


У меня webtin — это системный юзер (которому разрешен bash-шелл, но запрещен ssh-логин). Под этим юзером (через apache-mpm-itk) работает пара сайтов на Wordpress, и примерно месяц назад я уже вычищал с них заразу в виде файлов типа w36122986n.php и w25363287n.php с eval`ами внутри. Wordpress я тогда обновил, но, возможно, не всё плохое вычистил.


В администрировании я, к сожалению, нуб, поэтому буду очень признателен за конкретные рекомендации по анализу и исправлению ситуации.

Answer 1

[darkdimius]

Кстати: есть мааленький шанс что человек перед скармливаем скрипта перлу сохранил его на диск.
Тогда даже если он его удалил после начала выполнения то в /proc все еще будет лежать его дескриптор по которому можно будет увидеть оригинальный файл

Answer 2

[alz]

Может это хостер образы с этим скриптом разворачивает?

Comments

[smartup]

Не, это вряд ли. Юзера webtin я же сам когда-то добавлял по ходу дела. Плюс видно, что скрипт работает 173 часа, а это меньше на несколько дней, чем аптайм сервера (т.е. при старте сервера этот скрипт не поднимался).

Answer 3

[darkdimius]

как уже подсказали поможет strace узнать какие системные вызовы делает, lsof — какие файлы и сокеты открыл.
cat /proc/24051/status | grep PPid
подскажет кто этот процесс создал.

Comments

[Алексей]

Спасибо вам огромное за конкретные рекомендации.

# cat /proc/24051/status | grep PPid
PPid: 1

Дело швах?

А активность такая вот странная:

# strace -p 24051
Process 24051 attached - interrupt to quit
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
time(NULL) = 1355442565
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 10000}) = 0 (Timeout)
time(NULL) = 1355442565
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 10000}) = 0 (Timeout)
time(NULL) = 1355442565
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 10000}) = 0 (Timeout)
time(NULL) = 1355442565
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 0}) = 0 (Timeout)
select(0, NULL, NULL, NULL, {0, 10000}) = 0 (Timeout)

[darkdimius]

дайте lsof. он у нулевого файлового дескриптора(стандартный ввод) чтото узнать хочет. lsof скажет кто для него стандартный ввод

[Алексей]

# lsof -p 24051
COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF     NODE NAME
perl    24051 webtin  cwd    DIR    9,2     4096        2 /
perl    24051 webtin  rtd    DIR    9,2     4096        2 /
perl    24051 webtin  txt    REG    9,2  1224372 36683829 /usr/bin/perl
perl    24051 webtin  mem    REG    9,2    71432  9019401 /lib/libresolv-2.12.1.so
perl    24051 webtin  mem    REG    9,2    22036  9019396 /lib/libnss_dns-2.12.1.so
perl    24051 webtin  mem    REG    9,2    42572  9019398 /lib/libnss_files-2.12.1.so
perl    24051 webtin  mem    REG    9,2   100312 36749938 /usr/lib/perl/5.10.1/auto/POSIX/POSIX.so
perl    24051 webtin  mem    REG    9,2    13704 36749931 /usr/lib/perl/5.10.1/auto/Fcntl/Fcntl.so
perl    24051 webtin  mem    REG    9,2    21964 36749933 /usr/lib/perl/5.10.1/auto/Socket/Socket.so
perl    24051 webtin  mem    REG    9,2    38360  9019399 /lib/libcrypt-2.12.1.so
perl    24051 webtin  mem    REG    9,2  1421892  9019411 /lib/libc-2.12.1.so
perl    24051 webtin  mem    REG    9,2   121578  9019412 /lib/libpthread-2.12.1.so
perl    24051 webtin  mem    REG    9,2   149392  9019409 /lib/libm-2.12.1.so
perl    24051 webtin  mem    REG    9,2     9736  9019400 /lib/libdl-2.12.1.so
perl    24051 webtin  mem    REG    9,2    17836 36749929 /usr/lib/perl/5.10.1/auto/IO/IO.so
perl    24051 webtin  mem    REG    9,2   118084  9019395 /lib/ld-2.12.1.so
perl    24051 webtin    0r   CHR    1,3      0t0     4183 /dev/null
perl    24051 webtin    1w   CHR    1,3      0t0     4183 /dev/null
perl    24051 webtin    2w   CHR    1,3      0t0     4183 /dev/null
perl    24051 webtin    4w  FIFO    0,8      0t0 31793173 pipe
perl    24051 webtin    5u   REG    9,2       58 16957728 /tmp/tmpf175m3x (deleted)
perl    24051 webtin    6r  FIFO    0,8      0t0 31793174 pipe
perl    24051 webtin  215w  FIFO    0,8      0t0 29894895 pipe

[darkdimius]

дайте еще
cat /proc/24051/fd/16957728

[darkdimius]

и
lsof -p 24051 -a -d 0,1,2

[darkdimius]

Сорри. Последние два комментария игнорируйте — глаза поплыли и колонки перепутал.
сейчас только
cat /proc/24051/fd/5
и думаю все станет ясно

[Алексей]

Увы: cat: /proc/24051/fd/16957728: No such file or directory

Вы прям в реальном времени помогаете :-) Как будто на IRC-канал зашёл :-) Вон топикстартер smartup, по ходу, спать уже пошёл, а я пока сижу перекапываю все логи, в надежде что попадётся что-то подозрительное.

[Алексей]

# cat /proc/24051/fd/5
 * Restarting web server apache2
 ... waiting    ...done.

[smartup]

Не, куда там, я тоже не сплю. А, кстати, вот kostin ранее говорил, что, возможно, кроме этого процесса было ещё парочку (тоже перловских), но их — бахнули сгоряча.

[darkdimius]

cat /proc/24051/cmdline

[Алексей]

# cat /proc/24051/cmdline
find

[darkdimius]

Скачем так. я не знаю что это за перл, который хочет сказать что он find, который перезапутил апач.
Но для меня это было бы достаточным для форматирования и воссоздания сервера не из бекапов(а хз когда оно там появилось).
Да и на самом деле я не верю что есть достоверные варианты «очистить» скомпрометированный сервер.

[galaxy]

а кто на другом конце пайпа сидит?
lsof | grep pipe

Answer 4

[mastini]

strace в помощь

Answer 5

[charon]

нужно исследовать дальше, но скорее всего — это зловред. Судя по подключенным либам — он работает с сетью. Тут есть варианты: соединение с командным центром, рассылка спама, брутфорс каких-то удалённых сервисов. Я встречался с похожим, когда работал админом в суппорте хостинга.
Искать исходники сложно, потому что чаще всего в таком случае программа скачивается, запускается и файл сразу прибивается, остаётся только процесс в памяти.
Просто прибейте этот процесс и наблюдайте за ВПС дальше — появятся ли такие процессы еще. Если появятся — у вас есть незакрытая удалённая уязвимость.

Answer 6

[oleksandr_veles]

Был подобный зловред, исходник не нашел -закрывает при запуске и удаляет.
По памяти, кажись, завязаный или на уязвимость в старом sshd или на подмену sshd.
Но могу путать.

Answer 7

[schastny]

Небольшая предыстория. Однажды зайдя на виртуалку, находящуюся в моей юрисдикции я заметил, что ssh странно подтормаживает, после чего обнаружил в топе кучу питоновских скриптов. Разбор полетов показал, что они брутали какого-то австралийского SIP-провайдера и судя по всему были залиты через уязвимость в веб-приложении, которое самописное кто-то там когда-то написал. Приложение было не critical, поэтому виртуалка была сразу стопнута, скопирована для дальнейшего аудита, а для приложения была развернута новая из шаблона, ну и естественно было делегировано программистам в т.ч. разобраться с дырявым кодом. Вообще хорошая практика такая, что скомпрометированную машину не лечат, а целиком переустанавливают, сняв перед этим копию для аудита, а иногда даже и просто выводят в оффлайн и там ее ковыряют насрав уже на downtime.

Совет практический такой. Посмотреть что происходит с сетью. Посмотреть нет ли чего странного по netstat (открытые порты и сокеты), можно даже послушать трафик tcpdump. Можно действительно потрейсить перл и посмотреть откуда ноги растут.

А вообще рестарнуть нафиг апач, если процесс не исчезнет (а скорее всего так и будет, не помню, чтобы апач юзал перл), убить его к черту по pid и kill -9. Дальше сидеть и смотреть не появиться-ли он вновь. Просмотреть руками все возможные логи и пользовательские директории, вообще полазить по файловой системе по всей. Затем поставить rkhunter и еще одна утилита есть забыл название. Просканировать есть на предмет странной активности. Но все же лучше всего переставить систему.

А вообще надо апдейты вовремя ставить и следить за security issues хотя бы поверхностно, относительно дистра и используемых пакетов, cms всяких и прочего.