Имеется ОЧЕНЬ большая LAN-сеть очень крупного медицинского центра в Азии (Китай). Сеть обладает распределенной оптической сетью, сеть доменная, одноранговая, без разделения на VLAN-ы.
Сеть спроектирована очень давно, когда не было нормальных коммутаторов, после модернизации количество работ было таким большим, что одноранговую сеть так и оставили.
Компьютеров ~6000, присоединено 4 здания.
Ситуация такая:
1. Все компьютеры выходят в Интернет через очень строгий прокси-сервер, со строгой фильтрацией, с авторизацией по plain логину-паролю, большинство компьютеров не работают в интернете никогда.
2. На большинстве компьютеров стоит ОС Windows XP, также имется очень много рабочих станций с ОС Windows 98
3. Операционную систему менять нельзя ни в коем случае, так как большинство лабораторных/диагностических программ очень старые, драйвера старые, под новыми системами не хотят дружить.
4. В сети не только компьютеры, присоединены как участники одноранговой сети разные медицинские приспособления, отправляющие диагностическую информацию по простейшему SMB-протоколу. Приспособлений около 500, начиная с рентген установок, заканчивая ДНК-анализаторами.
5. Некоторые рабочие станции не являются участниками домена.
6. IT отдел медцентра – это 40 человек, из них 15 админов.
7. В медицинском центре круглосуточно выполняется более 600 разных операций на людях, работу сети прерывать нельзя ни в коем случае, так как вся диагностическая информация (МРТ, рентген, результаты анализов, бухгалтерия) передаются непрерывно.
8. Простой сети на день грозит потерями в миллионы долларов
Проблема:
Какой то мудак (его уже выгнали) поднял игровой сервер в сети, расшарил инет через мобильный LTE интернет и запустил вирус криптолокер в сеть.
Сеть оказалась завирусована, и вирус шифратор гуляет по сети, шифруя данные на локальных компах, и на расшаренных SMB ресурсах.
Каждый день заражается около 20-40 компьютеров.
Медцентр и рад заплатить хакерам выкуп, но путем переговоров с ними пришли к выводу что невозможно каждый день расшифровывать файловые системы по отдельности, хакеры честно сказали что помочь в этом не смогут.
На большинстве компьютеров антивирусная защита отсутствует как таковая, так как на большинстве рабочих станций стоит Windows 98 & XP
У меня нечто похожее было: когда устроился на работу, а там проект на php 5.3 + самописный фрейм от студента, говнокод и помойка. Но ничего нельзя менять, вообще не дышать на legacy код. Только писать новый функционал в том же ключе и исправлять баги. Хотя тут, конечно, гораздо хуже.
nexthop, Вот мы то-же в чатике это пообсуждали, единственное что поняли, это или оно вообще чудом работает или очень хорошее железо поставили при модернизации :)
Тут ещё вопрос как адреса распределены - если 10.0.0.0/8 то конечно ахтунг.
Какая бы не была организация, не верю что ВСЕМ компам нужно связываться со ВСЕМИ компами.
Ставите адекватные маршрутизаторы, разбиваете сеть на VLAN-ы, лечите их отдельно.
Старые ОС можно запускать в виртуалках, с отключенной сетью. А на самом железе - нормальная, современная ОС.
Во многих случаях комп с диагностическим оборудованием может быть совсем отключен от сети.
после модернизации количество работ было таким большим, что одноранговую сеть так и оставили.
Какой то мудак (его уже выгнали) поднял игровой сервер в сети, расшарил инет через мобильный LTE интернет и запустил вирус криптолокер в сеть.
2.
Операционную систему менять нельзя ни в коем случае, так как большинство лабораторных/диагностических программ очень старые, драйвера старые, под новыми системами не хотят дружить.
Если простоя стоит миллионы долларов, то что мешает заплатить пару миллионов на решение это проблемы?
Тут расстреливаем менеджеров, ну тех которых не расстреляли в п.1.
3.
На большинстве компьютеров антивирусная защита отсутствует как таковая, так как на большинстве рабочих станций стоит Windows 98 & XP
Древняя ось, без обновлений (на большинстве уверен вообще обновы не ставились со времени установки), без банального антивируса.
Чего вы ещё хотели то?
Вирусные эпидемии как в вашей ситуации не лечатся путём "а прогоним отот комп антивирусом", их лечат путём "отрубить нахрень всё и переустанавливаем системы ибо хрен пойми какая сигнатура у этой дряни".
Вы влетели по полной программе и решение тут только одно - модернизация железа/ПО, грамотный подход к сети.
Нужен анализ конкретной версии локера.
Как правило такого рода программы создают временные файлы необходимые для работы, поэтому зачастую можно заблокировать его распостранение созданием этих файлов в режиме рид онли.
Но это прокатит от XP и выше. На XP накатить патч для SMB
На Win98 боюсь самое адекватное - полное запрещение SMB и перевод файлообмена на другой протокол, например FTP, btsync и прочее подобное.
1)Вынос файловых шар на сервера с современными ОС, жесткая настройка прав, чтобы шифровальщик не мог дотянутся до всех файлов. На серверах теневые копии.
2)Регулярное создание теневых копий на всех машинах от XP и выше. Например раз в час или в два часа.
3)Регулярные бэкапы в формате образа диска- чтобы можно было развернуть полностью работающую ОС
CityCat4, Честно говоря не понял комментария.
О каких железках речь?
Поддержка протокола это ОС, к железу отношения не имеет.
А FTP протокол еще более древний чем SMB.
АртемЪ, железка типа "рентген аппарат". ставишь человека туда, прицеливаешь, нажимаешь кнопку.
Аппарарт говорт "вжжжз", и скидывает результат своей работы по SMB. Кроме SMB он ничего не умеет, и уметь не будет. И FTP он тоже не умеет. Обновления к нему не выпускаются *надцать лет. Если вы сейчас подумали что-то типа "этот аппарат надо бы переделать" вспомните, что мед аппаратура должна проходить сертификацию. Если "купить новый", то поинтересуйтесь сколько такие устройства стоят.
Теоретически, можно бы ввести промежуточные "компы ретрансляторы", которые собирают данные от таких вот древних устройств и передают их в большую сеть. Но это надо было делать заранее.
Stalker_RED, Ну я не встречал аппаратуры отдающей данные по SMB.
Железки обычно отдают данные через какой-нибудь COM порт, по проприетарному протоколу, эти данные принимает софт установленный на компьютере, обрабатывает, и складывает в папочку.
Поддержки сети вообще не встречал в старых моделях, я правда с медтехникой практически не сталкивался, а вот с измерительным оборудованием имел небольшой опыт работы.
Если бы железо отдавало по SMB тоже не проблема - поставил компьютер с современной осью, принимай от оборудования и размещай на шаре.
Ну и пусть все скидывают в одну папку на SMB. А оттуда уже софт-вундервафля, крутящийся на нормальной системе с блекджеком и антивирусом, будет через ФТП раскидывать куда надо.
Stalker_RED, "железки типа рентгена" - все свичи меняем на управляемые, и такую "тупую" технику - 1 влан - 2 устройства, сам аппарат и кто читает его данные.
Выше уже написали, что нужно сегментировать сеть. Эта задача и стратегическая (будете решать после устранения проблемы) и тактическая (ограничение распространения зловреда).
Сегментировать нужно заменой коммутаторов на управляемые с функционалом vlan, acl, dhcp snooping (на перспективу), loopback detection. Закупить коммутаторов на ~ 6000 портов можно одним днем (это порядка 120 коммутаторов доступа не считая агрегацию и маршрутизатора). Выйдет все же дешевле финансовых и имиджевых потерь от простоев.
Как именно нужно сегментировать - можно определить только по месту. Может быть сразу отсечь сегменты, не занятые в оперативной деятельности компании, отправив туда 1-2 человек для зачистки антивирусом, а основные силы бросить на приведение в порядок сети. Может быть есть смысл "заблокировать всё" и открывать доступ к тем или иным ресурсам по мере возникновения проблем. Из 15 админов на месте можно оставить 5, а остальных (35) отправить разбираться у кого чего не работает. Все общение должно быть сведено к:
- Володя, это Сёмен, IP адрес 10.156.2.25, MAC-адрес заканчивается на 13-AC-F4 нужен доступ к 10.43.1.67, это рентген в кабинете 523
- Готово проверяй
- Да, есть, сделай тоже самое для XXX, YYY, ZZZ...
Пишите вирус, который гасит предыдущий. Контакт с хакерами есть, алгоритм шифрования есть, уязвимость известна. Выкупайте исходники их творения и правьте, либо обращайтесь к тем, кто может написать подобное. Это если нельзя отключать сеть. Знакомые так точки доступа затрояненные возвращали под контроль, обежать их было нереально - развешены по всему городу. За пару дней сваяли вирус-чистильщик. А далее - по пуктам вышеописанным: сегментация, контроль трафика, и.т.д.
Вы используете SMB-протокол, шифровальщик использует его.
Если попробовать завернуть весь трафик SMB на роутер, и там либо блокировать зараженных либо попробовать парсить заголовки зараженных пакетов. (может они выделяются на общем фоне) мысли в слух
Почитал коменты и можно сказать что все сводится к одному,
после модернизации количество работ было таким большим, что одноранговую сеть так и оставили.
вас ждет настоящая модернизация, болезненная но оправданная. Так как теперь начальство стоит перед фактом что экономить на IT нельзя!
Конечно такая сеть - это полный кашмар и что то тут посоветовать сложно. Тут нужен комплексный подход. Рекомендую обратиться к специалистам в одну из антивирусных компаний, а так же компаний специализирующихся на программно-аппаратных файеволах (Fortinet, Check Point Software).
А если брать проблему локально, то нужно смотреть каким крипто-локером заразились, к примеру у того же WannaCry или Petya (Not.Petya) есть стоп-файл, наличие которого в определенных местах останавливает работу крипто-локера. Конечно пробежаться по 6 тыс. ПК практически нереально, но....
В основном, все решения сводятся к тому, что нужно было сделать до заражения. КМК, сейчас первое, что нужно сделать это вырубить нафиг вообще все компьютеры, по одному включать и определять состояние - заражён или нет, исходя из этого предпринимать дальнейшие действия - дать доступ в сеть или формат Ц. Для определения заражён или нет привлечь спецов из антивирусных лабораторий. Сеть сегментировать по ходу дела (привлекаем спецов), это всё равно нужно делать, т.к., по сути, по такой схеме она будет конфигуриться ну почти с нуля. Естественно, с обязательным снятием образов дисков в текущем состоянии, каким бы оно ни было. Отключать нельзя? Финансовые потери? Ну извините - предыдущая экономия вылезла боком сейчас, это уже просто факт.
В медицинском центре круглосуточно выполняется более 600 разных операций на людях
Тут вопрос не просто экономии. День простоя — это более 600 человекопотерь (не смертей, нет, потерь в виде невовремя выполенных процедур. некоторые из них — критичные. некоторые — летальные).
На скольких тысячах человеческих жизней можно сэкономить в данном случае?
А что с самим парком компов, насколько старые компы сами по себе?
Идея в следующем: берем новый чистый комп, ставим современную ось и на нее виртуалку с Вин98, на которую переносим весь необходимый софт. Сам софт и драйвера можно перед установкой проверить на антивирусах.
а чем поможет то? если воткнуть чистый комп в эту сеть он тут-же будет заражён, если до этого не подрубить его в чистую сеть и не накатить все обновления
У того же Касперского антивирус требует распоследнего дотНета, доступного для Хрюшки. Так что не встанет даже на SP2. И в любой момент может прекратить поддержку ХР вообще.
А теперь читаем вопрос.
2 года пишем софт способный решать подобные проблемы, на рынок не вышли, так как пока используем для внутренних нужд, но это же больница, есть возможность связи?
Емейл для контакта:
ccoropto@inbox.ru
ValdikSS, это уже частность, для конкретной машины. Если более глобально то своим софтом управляем всеми процессами на эвм по сети, делаем кое-что с ядром винды, блокируя зловредам необходимые для их работы функции. Те иными словами мы сможем быстро найти зловреда, заблокировать его запуск на всех остальных машинах, а дальше уже реверс, мониторинг и дебаг, чтобы устранить последствия.
Пробовать качать какие нить LiveCD и лечить по факту. Не думаю что какие нить DrWeb Cureit! запустятся на вин98.
Как я понимаю вариантов у вас все равно нет, поэтому как мне кажется самый оптимальный вариант, это понять на каких компах вирус и выключить их из сети, а дальше провести диагностику и лечить их, потом загоняя в сеть обратно.
Плюсую предыдущих ораторов. Встряли вы конкретно, и своими силами не управиться, привлекайте серьёзных интеграторов для решения. И готовьте денег, конечно -- на оплату их услуг, на новое оборудование.
Сеть должна быть сегментирована. На как можно более мелкие сегменты, чтобы легче было резать всё к чёртовой матери, не дожидаясь перитонитов. Как конкретно резать -- пусть вам расскажет интегратор после анализа карты информационных потоков в вашей сети. Есть железо, которое строит такие карты на основании данных с сетевого оборудования -- кто, куда и по каким протоколам ходит, на основании этой карты будет понятно, как сегментировать сеть и как нарезать ACL между сетями.
Возможно, придётся внедрять некий анализатор трафика, который по определённым сигнатурам в пакетах будет блочить порты -- это, наверное, единственный способ сохранить ваши старые ОС и при этом иметь хоть какое-то подобие защиты от сетевых червей. Ну и все остальные комплексные меры тоже -- расстановка файрволов, жесточайший контроль за появлением новых устройств в сети и новых типов трафика (такого, например, как игровые сервера ;-) ).
Вот неплохие переводы двух CIS-овских регламентов, начинайте внедрять:
Я, конечно, не являюсь сисадмином с опытом, но я бы сделал так. Параллельно старой сети быстро развернул бы новую, с новым кабелем, новыми компами, новым сетевым железом, правильно организованную, чтобы она вообще нигде не пересекалась со старой. Подготовил бы её: в каждый кабинет поставил бы полагающийся там компьютер с нужной ОС и драйверами, заранее всё протестировать, разбить на сегменты. И потом в ночь Икс, собрав всех админов, разом переключить всё на новую сеть, ну и уже по ходу дела решать возникающие при этом проблемы. А потом уже неспешно разобрать старую сеть.
Тут чел правильно написал. Софт старый ... убираем его на сервера и долбимся по рдп(ремонт апп или аналоги). Нарезаем виланы и начинает обновляться до современных осей. Можно даже ставить терминалы.
Затушить то, что можно затушить, причем как можно быстрее. Может быть вы и потеряете какую-то выгоду, но упущенная прибыль - это не прямые убытки. И с каждым часом у вас добавляются прямые убытки.
Заплатить хакерам, пусть выпустят тулзу для лечения своего творения. Или как минимум, пусть документируют работу своего творения, укажут куда оно прописывается и как можно задетектить "зараженность". Собрать РХЕ-сервер с образом линупса, который бы детектил зараженные машины и слал бы отчет на головной сервер. Ребутнуть все что можно, загружаясь с РХЕ где можно, а где нельзя - грузимся с флешек и болванок. Если квалификации достаточно, то можно за день уложиться, зато будет карта зараженных машин и можно будет продолжить работу без инфицированных.
Инфицированные машины, где инфа на них нужна, лечить в индивидуальном порядке, предварительно отключив от сети, а если не нужна - заливать на них свежие образы с того же РХЕ-сервера. Опять же, написать хакерам, пусть сделают нормальный тул для менеджмента шифрования.
В принципе, тут уже было правильное мнение о том, что нужно прибегнуть к услугам толстого интегратора, но... Но толстые интеграторы собирают дешевую рабсилу за копейки, таким образом ничего волшебного в их услугах не будет. В лучшем случае прибегут такие же специалисты как и тут, которые только и могут накатывать антивирусы и все обновления которые видят, трясти бубен и надеяться, что последняя версия патчей их от чего-то там убережет. Особенно мне понравилось про установку Вин98 в виртуалочку на современную ОС, просто верх местной экспертизы. Тебе такие эксперты нужны?
Но в любом случае, на деньги вы уже попали. Так что беги к выключателю и выключай все. ВСЁ!!
Такая сеть - кошмар для админов. О безопасности нужно было думать раньше. Такую сеть практически нереально полностью вычистить. Постоянно будет вылазить что-то с флех, архивов и т.д.
Рекомендации:
1) Анализ потоков и разбивка на сегменты. В нерабочее время для минимизации ущерба.
2) Межсетевые экраны на границе сегментов. Желательно с обнаружением аномального трафика.
3) Все шары для обмена - нормальный сервер с антивирусом.
4) Постепенный обход машин с накатыванием заплат. Для закрытия хотя-бы базовых уязвимостей.
Тут надо писать свои руткиты под 98 и ХРюшу, с основной идеей в пресечении любой активности кроме узкого профиля приложений необходимых для работы, плюс обнаружение аномального поведения.
У меня так, куча лабораторного старья здравствует и ныне, уж конденсаторы по второму кругу меняют, а оно всё работает.
Vladimir Zhurkin, Аналогычна, тем паче что опыт жития и бытия в поднебесной у меня имеется, и я даже понимаю как такие ситуации у них эпизодические возникают, однако вопросы остаются, у них там своя, вполне адекватная сцена, так что проблема может быть быстро закрыта, даже по моему сценарию, просто кто то очень жадный, и не догоняет как несколько человек может стоить дороже чем целое стадо эникеев :-)
PS.А знаешь, есть такой девайс телефон, а ещё я почту почитываю, и вообще старомоден стал :-)
Простой
