Насколько надежен описанный процесс тестирования обновлений ОС?

Question

[Довольный Айтишникъ]

Есть два сервера с некоторым ПО, назовем их прод и тест. На проде работают, на тесте разработчики обкатывают будущие обновы своей суперпрограммулины.
Цель: для минимизации рисков простоя прода - тестировать обновы ОС сначала на тесте, а потом уже ставить на прод.
Если просто из стандартных реп сначала обновлять тестовый сервер, а после тестирования обновлять прод, то есть риск, что за период тестирования в репе какое либо ПО опять будет обновлено и есть вероятность, что до несовместимой версии.
Поэтому рассматриваю следующий алгоритм:

1. Создаем сервер, который зеркалирует репы и перенацеливаем на него тестовый и продовский сервера;
   
2. Обновляем репы на зеркале до актуальной версии;
   
3. Обновляем тестовый сервер и разрабы работают с этим сервером, ;
   
4. После успешных тестов обновляем продовский сервер;
   
5. Через некоторое время повторяем все операции начиная со 2 пункта.
   

Насколько адекватна такая схема? Или есть лучше варианты?

Comments

[aleks-th]

Сколько времени нужно чтобы проверить что все норм?
Сколько времени на простой можно заложить?

Я бы просто сделал образ сервера, и обновил его после этого, если что не так то откатил обратно.
Так сильно быстрее, ну и сломать сам сервер обновлениями очень сложно, я как-то пять лет сервак не обновлял, потом поэтапно обновил до последнего релиза, и ничего не сломалось ....

Но у меня если пару часов ночью что-то работать не будет никто даже не заметит.
А за это время я и проверить все и откатить обратно успею если чтото не так пойдет.

[Довольный Айтишникъ]

aleks-th, ну, перед обновой бекап делается, благо сервер виртуальный. Восстановить так же не проблема. Тут больше цель иметь возможность доказать, что глюки начались не от обновы операционки, а что-то с софтом и все претензии к разрабам.

Answer 1

[VoidVolker]

1. Поднимаете любой сервис для хранения контейнеров докера или образов ОС (например harbor для докера или средства автоматизации доставки и развёртывания ОС в вашем ЦОДе)
   
2. Собираете образ с нужной версией ОС или обновлениями
   
3. Публикуете образ в сервисе
   
4. Развёртываете образ в тестовой среде и проверяете его работу
   
5. Если всё нормально - развёртываете на проде
   

Дополнительно: если прод - несколько серверов, то процесс деплоя пошаговый - 1%-10%-25%-50%-100% от числа серверов.

Comments

[Довольный Айтишникъ]

Пока еще не всё в контейнере засунуто, ну и не всё туда влезет, например тот же WebLogic в контейнер пока не решаемся засунуть.

Answer 2

[hint000]

IMHO, сине-зелёная схема должна отлично работать как с обновлением продукта, так и с обновлением окружения. Причём, сине-зелёная схема надёжнее.
TL;DR: В принципе не обновлять прод, а переключать роль прода на тот, который обновлён и протестирован. На следующей итерации в обратную сторону.
https://en.wikipedia.org/wiki/Blue%E2%80%93green_d...
https://habr.com/ru/articles/516230/
https://habr.com/ru/companies/abdigital/articles/6...
https://habr.com/ru/companies/flant/articles/834442/

Answer 3

[ky0]

Имхо, вы преоцениваете вероятность, что за условные несколько дней какие-то пакеты обновятся настолько, что всё поломают. Их всё-таки не по воле левой пятки релизят и перед этим тестируют - а внеочерёдно и того реже, только в ответ на какую-то действительно опасную уязвимость или лютый баг.

Comments

[Довольный Айтишникъ]

Ну, пару недель точно займет процесс. Поэтому лучше я со своей стороны перестрахуюсь.

[Vitsliputsli]

Если тестировать, то только релиз который будет работать на проде, а не надеяться, что версии совпадут. Оставлять хоть и маленький шанс, что тестироваться будет не то, что поедет на прод, так себе идея.

[Довольный Айтишникъ]

Vitsliputsli, это будет следующий шаг, убедить разработчиков, что тестировать надо максимально приближенное к проду окружение.

[ky0]

Довольный Айтишникъ, так погодите - мы про окружение говорим? Я-то думал, что эти ваши пакеты - часть ПО (СУБД какая-нибудь или JRE).

Если мы про обычные пакеты ОС, консистентность окружения достигается совершенно другими способами - и регулярные обновления ОС на процесс работы ПО вообще не влияет.

[djv57]

А вот такой вариант для "параноиков" не подойдёт: запускаем условный apt update на обох серверах, тестируем, далее накатываем обновления на проде без "apt update"? Естественно, речь идёт о Линукс.

[Довольный Айтишникъ]

djv57, Хм, как эконом вариант вероятно и подойдет, но тот же centos или ubuntu периодически обновляют кеш пакетов, и потом при входе радостно сообщают о том, что можно вот целую кучу обновить. Так что считай apt update делают сами.