Как выяснить причину аномального роста трафика?

Question

[pomozov]

Имеется аномальный рост трафика на VPS сервере в период с 5 до 6 утра (суммарно in и out более 100 гигабайт). Статистика по нагрузке виртуальной машины за этот день из vmmanager'a:



Хотелось бы понять что это было. В какие отчеты / логи смотреть и прочее. syslog за этот период такой:

May 14 05:46:33 hidden systemd[1]: Starting Ubuntu Advantage Timer for running repeated jobs...
May 14 05:46:33 hidden systemd[1]: Starting Daily apt download activities...
May 14 05:46:33 hidden CRON[729243]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
May 14 05:46:33 hidden CRON[729244]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
May 14 05:46:33 hidden CRON[729245]: (root) CMD (test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r)
May 14 05:46:33 hidden CRON[729246]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
May 14 05:46:33 hidden CRON[729247]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
May 14 05:46:33 hidden CRON[729248]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
May 14 05:46:42 hidden systemd[1]: apt-daily.service: Succeeded.
May 14 05:46:42 hidden systemd[1]: Finished Daily apt download activities.
May 14 05:47:18 hidden systemd[1]: ua-timer.service: Succeeded.
May 14 05:47:18 hidden systemd[1]: Finished Ubuntu Advantage Timer for running repeated jobs.

Comments

[Adamos]

Может быть, в отчеты и логи того, что установлено на этом VPS?

[pomozov]

Adamos, там только сервер wireguard

[Adamos]

pomozov, вряд ли - только. Например, там наверняка сервер SSH, на который неизбежно долбятся боты.
Посмотрите хотя бы, какие порты реально открыты на этом VPS:
sudo netstat --listen --tcp -n

[accountnujen]

pomozov, я подпишусь на вопрос, а вы пожалуйста, как найдёте решение, опубликуйте его сюда, как ответ.

[pomozov]

Adamos, такое выдает нетстат (его собственно также пришлось доустанавливать).

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
tcp6       0      0 :::22                   :::*                    LISTEN

Answer 1

[pfg21]

настроить мониторинг трафика и посмотреть кто чего куда пересылает.

Comments

[pomozov]

Да тут, к сожалению, надо не будущее, а исходя из текущего состояния)

[pfg21]

pomozov, тогда проверять какие скрипты в кронах запускаются.
запускать вручную - смотреть результат.
вырезать ненужные, да и вообще разобраться что лишнего есть в системе...

[pomozov]

pfg21, видимо придется именно так и поступать. Вообще там базовая серверная убунта на которой только сервер wireguard'a установлен.
Может есть какие-то особо полезные журналы, где можно например, глянуть куда именно весь этот трафик направлен был.

[pfg21]

pomozov, ммм, трафик по дефолту не мониторится, слишком много там всего.
мож по логам получится найти какие процессы в это время работали.
или у провайдера есть какие-либо записи.

[mayton2019]

Можно в этот период с 5 до 6 позапускать iftop и понаблюдать. Там должен быть порт и хост куда идет трафик. И дальше по PID процесса посмотреть кто злодей.

[pomozov]

mayton2019, pfg21, а каким образом донастроить убунту, чтобы она автоматом писала отдельный лог со всеми запросами? В каком-нибудь самом минимальном формате что-то вроде дата : время : процесс : запрос. Может есть какие-то инструменты для этого?

[pomozov]

mayton2019, pfg21, но вообще это в целом очень странно. Система используется только для ВПНа, но как-то умудрилась прогнать более 100Гб трафика за час. Есть ощущение, что это вообще какой-то сбой статистики. Так как, если в 50Гб входящего трафика я ещё как-то могу поверить, но вот, чтобы исходящего нагенерить на 50Гб это что-то из области фантастики.

[pfg21]

инструментов дохрена, только надо найти тот что тебе требуется :)
к примеру https://www.ntop.org/products/traffic-analysis/ntop/

[Adamos]

pomozov, если это была атака, провоцирующая DDoS с этого сервера, то она как раз ради исходящего и проводилась. Еще хорошо, что, похоже, он не мультиплицировался...

[mayton2019]

pomozov, ну вот таким скриптом я логаю трафик своего Wifi адаптера в текстовый файл.

sudo iftop -t -n -i wlp7s0 > /tmp/iftop-2022.lst

Он пишет раз в нексколько секунд. Файл кумулятивный. Потом читаешь разбираешь.

Как там чего в Убунте настроить из каробки - я не знаю. Я вобщем-то не сисадмин. Разработчик. Для меня все сводится к вызову внешних процессов (утилит). Я думаю это правильно. В этом философия Unix.

[alex1478]

pomozov,

Есть ощущение, что это вообще какой-то сбой статистики

сравните объём трафика в вашем мониторинге и в выводе ifconfig

Answer 2

[Руслан Федосеев]

А что у вас apt накачал? вам в же в логе четко написали...

Comments

[Adamos]

Четыреста гиг качнул. А потом спохватился и закачал обратно.

[pfg21]

Adamos, аптовы качания видны в логах апта и в /var/cache/apt/archives :)
400 гигов это я думаю все пакеты большого линукс-дистра вместе со всеми пакетами исходников :)

[pomozov]

pfg21, да тут [/var/cache/apt/archives] как-то пусто. Даже плодами этих качаний не насладится)

[CityCat4]

pomozov, Потому что задача активности апта работала ... 10 секунд. Ничего он не скачал - стартанул, проверил обновления и закрылся. Это другое что-то.

Answer 3

[justhostRU]

>Хотелось бы понять что это было
какой мониторинг трафика у вас уже настроен?
косвенно можно узнать в момент нагрузки через сетевые мониторы, например jnettop

Answer 4

[idmrty]

Вы же сами пишете, что установлен WireGuard. Кто-то что-то через этот VPN и качает. На самом сервере смотреть нечего.