Каким образом человек может попасть на хакнутый им сервер?

Question

[historydev]

Меня атаковали позавчера, систему сносить и ставить с нуля желания нет, логи пустые.

Изменил пароли, проверил authorized_keys, проверил пользователей - ничего подозрительного не нашёл.

Прокси если стоял бы, по идее ip внешний изменился бы - не изменился, поэтому я в данный момент думаю что у него нет доступа в систему, но порты в сеть пока не открываю.

Что мне стоило бы проверить?

Comments

[Everything_is_bad]

с чего тогда решил что тебя хакнули?

[historydev]

Everything_is_bad, с того что мне пароль от РУТА сменили)))

[Everything_is_bad]

historydev, либо ты его криво запомнил или вводил (такое бывает при сломанной консоли), хотя с учетом такой кучи действий что ты творишь, мог и сам его сломать))

[historydev]

Everything_is_bad,

Ничего я не забыл.

Мне сменили пароль от одной виртуалки и хоста, в добавок почистили логи за 7 число.

Забыть пароль который я с закрытыми глазами, мезинцем левой ноги, на кнопочном телефоне ввести смогу - это абсурд.

[Everything_is_not_so_bad]

historydev,
CAPSLOCK выключен?

[mayton2019]

historydev, возможно твой пароль входил в top популярных и подобрать было не сильно сложно

Посмотри https://en.wikipedia.org/wiki/Wikipedia:10,000_mos...

[pfg21]

если тебя хакнули. то стираешь систему нахеръ и поднимаешь чистый образ из бекапа.
всё - у тебя чистая система без единого внедрения от хаккира !!

вариант2: сделать перед стиранием образ хакнутой системы и диффом проверить пофайлово (сравнивая с образом из бекапа) что изменилось в системе...

[historydev]

Иерокопус Таманский, ещё раз - я не ошибся)

[historydev]

mayton2019, не настолько простой, но мой пароль точно был слит, т.к. я ставил кряк программы пару лет назад и поймал троян, мне из-за него ютуб акк забанили ещё)

[Vladimir]

ssh по паролю был я так понял?

[historydev]

pfg21, бэкапа нет

[historydev]

Vladimir, да, он и сейчас по паролю, был доступ из виртуалок к хосту. Сейчас уже нет.

[mayton2019]

pfg21, кстати хорошая идея - быстро восстанавливать образ сайта из git.
Из него-же можно смотреть diff и понять где были изменены php файлы например.
Знакомые которые суппортят WordPress, таким образом находили плагины вордпресса
с троянами.

Для системы - полный бэкап OS-раздела. И для сайта - из git.

[Vladimir]

historydev, не очень понял, виртуалки по мосту были? И ты с хоста подключался к ним по ssh с паролем? Айпи серый?

[historydev]

Vladimir,
ip у виртуалок да, серые, у хоста есть и белый, и серый.

Виртуалки в отдельной подсети, с хоста я порты перенаправляю на ssh виртуалок через iptables prerouting.

Фишка в том, что из них был доступ к хосту и это стало фатальной ошибкой, я думаю меня тупа брутнули, сначала через открытый порт к виртуалке пробрались, из виртуалки к хосту, пароль один и тот-же был.

Сейчас я это всё исправил, забанив сеть виртуалок на хосте через iptables drop.

[pfg21]

mayton2019, git ориентирован на текстовые файлы, так что гитом лучше "бекапить" html svg xml и т.д.
а так, обычный инкрементальный или дифференциальный бекап отлично отлавливает и показывает внедрения в систему.

[Dmitry Bay]

historydev, а раскладка корректная? может вы на русском пароль писали?

[Be1erafon]

ssh по паролю надо сразу отключать, используй ключи.

[none7]

Слышали про такую вещь как rootkit? Если взломщик получил root, то это финиш. Вы уже не можете доверять выводу ни одной утилиты и работе ни одной команды. В том числе rsync, netstat и iptables.

Answer 1

[YepBro]

Могли оставить какой-нибудь скрипт, который по запросу из сети выполнить любой заранее заложенный или загруженный в процессе код. Могли майнер оставить. Могли какой-то сервис развернуть. Могли в крон положить скрипт который через Х дней даст доступ по ключу или добавит пользователя. А могли ничего не сделать. Вариантов слишком много :) Проще переустановить. Логи могли и подчистить.

Comments

[historydev]

майнера нет, мониторю ресы, ничего не грузится, видеокарту правда проверить не могу, т.к. драйвер не поддерживается системой.

Кронтаб проверил, там только моя запись.

Логи пустые, как раз и говорю о том, что их почистили.

Запрос из сети идёт по адресу:порту, у меня открыты порты которые я контролирую и знаю куда они ведут.

Сервис развернуть, например?

Могу вывести что-то вроде "недавно установленных" сервисов, вчера проверял всех юзеров на предмет смены пароля, новых не нашёл, все юзеры с момента установки системы.

[Сергей П]

historydev, предполагать можно всё что угодно, но гарантировать, что ничего не осталось нельзя. Кронтаб пустой, но "закладка" может лежать в любом штатном скрипте который рано или поздно будет выполнен и троян развернётся подняв необходимые соединения. Это гипотетически.
Вообще так скомпрометированный сервер - это отличный повод пересобрать образ с нуля, навести ревизию и сделать орекстрацию установок. Так, чтобы и бэкапы файловой системы были не нужны, потому что он разворачивается за считанные минуты с нуля.

[historydev]

Сергей П,

Про троян эпично сказано)

Можете посоветовать какую-то статью? - я до этого искал способ собрать образ из текущей системы, чтобы не делать бэкапы системные.

Меня срезали, мол iso по размеру сильно ограничен, я и забил.

По всей видимости зря, мог бы сейчас восстановиться по идее.

[shurshur]

historydev, если у хакера был root, он мог заменить любую программу, библиотеку и даже ядро. Завтра в недрах какой-нибудь libpcre выполнится злоумышленный код и... и что? Так что доверять "чистоте" системы - огромный риск.

[historydev]

shurshur, переустановки достаточно или ещё что-то сделать нужно?

[shurshur]

historydev, если сохранять чистую систему - достаточно. Если начать копировать софт, скрипты и сайты из старой системы бездумно - можно вернуть обратно все дыры и уязвимости.

Я так понимаю в данном случае речь идёт о хосте для виртуалок? Тогда ставим всё заново, настраиваем гипервизор, если тянем из старой системы какие-то готовые скрипты - обязательно смотрим внутрь... Весь самосборный софт (если что-то ставилось из исходников) собираем заново, не копируем из иначального положения. И конечно же защищаемся от доступа на хост с этих виртуалок. Сами виртуалки (образы дисков), вероятно, можно сохранить, особенно те, которые не ломали. В теории, в них тоже могли записать вредонос прямо в структуры файловой системы, но это малореально, если вирус не писали какие-то суперспециалисты под узкоцелевое использование, ибо это очень сложно.

[historydev]

shurshur, У меня есть бэкапы виртуалок, но да, я не знаю стоит их брать или нет, да и по настройке всё чуть-ли не apt install pkg, ошибки которые допустил, я учёл и применю это всё после переустановки, в этот раз скорее всего сразу бэкапы сделаю и сохраню на компе.

[shurshur]

historydev, полезно даже не бэкапить виртуалки, а практиковать автоматизацию их разворачивания. Например, писать плейбуки для ansible, с помощью которых свежеустановленная система получает нужный софт с нужными базовыми настройками (nginx/php/docker/юзеры/права/настройки/итд/итп). Сайты, которые в сырцах (например, на php или python) разворачивать из git, но параметры конфигурации (например, реквизиты базы) не хранить в git. Обычная практика: в git лежит config_example.php с демонстрационным набором параметров, а для прода делают копию файла и меняют значения на реальные. Это рекомендация по личному развитию, если освоить подобный подход, то можно существенно улучшить поддержание текущих и поднятие новыхп роектов.

От паролей ssh лучше отказываться. Пароль должен или не использоваться совсем, или быть крайним вариантом на чёрный день и быть у каждого сервера разным автогенерированным и храниться где-нибудь там, где его легко не найдут!

Вместо пароля использовать ключи. Причём в хорошем варианте ключи хранятся только на локальной машине, а на удалённую (откуда практикуется ssh на какие-то ещё другие хосты) прокидываются через ssh-agent. Но для начала хотя бы просто начать использовать ключи. Можно вплоть до того, чтобы каждому серверу свой ключ, чтобы при утечке какого-то одного ключа не пострадало вообще всё.

[historydev]

shurshur,

До автоматизации дойду чуть позже, сейчас хочу всю систему настроить, чтобы понимать как это автоматизировать.

Спасибо!