Что учить, чтобы расти в сторону DevOps?

Question

[wazebup]

Всем привет. Я являюсь студентом, сейчас изучаю Linux на базовом уровне. Вроде того: основные команды, мониторинг системы (top, htop, ps), bash, awk, sed, vim. Заметил, что сейчас очень популярна следующая профессия, и называется она: DevOps. Что нужно изучать, чтобы претендовать на этот пост? Особые трудности сейчас у меня вызывают сети (модель OSI, VLAN, NAT, Route) и SQL. Но вроде python дается не так сложно. Так что, можно стать DevOps'ом вовсе не зная сетей и SQL? Или это крайне необходимо?

Answer 1

[Philipp]

DevOps расшифровывается как Development Operations.
В повседневные задачи DevOps инженера входит управление инфраструктурой приложений (в основном веб).
Что должен знать и уметь такой инженер - например по клику кнопкой в нужном датацентре произошел деплой приложения. DevOps должен суметь создать этот интерфейс с кнопкой и автоматизировать процесс приобретения инстанса (например в AWS), установки операционной системы и необходимых пакетов, доставки приложения на этот инстанс, прописывания всех настроек в приложении и приведение приложения в полную боевую готовность, т.е. состояние, в котором к приложению можно пускать пользователей.

По пунктам, что нужно знать и уметь:

• неистово учиться и гуглить
  
• сетевые технологии, на уровне маршрутизации, TCP/IP, DNS, SMTP и остальных протоколов начиная с 3 уровня модели OSI
  
• сетевые операционные системы (преимущественно семейства Linux) на уровне автоматизирования установки, обновления, настройки безопасности и мониторинга
  
• системы виртуализации (Xen, OpenVZ) и контейнеризации (Docker, Vagrant)
  
• настраивать сервера и мигрировать конфигурации, например перейти с Apache на Nginx, или с PHP на HHVM
  
• Chef
  
• Puppet
  
• Ansible
  
• Capistrano
  
• VCS
  
• AWS/OpWorks/CloudFormation/CodeDeploy, OpenStack
  
• Munin/Logstash/Kibana и другие связки для мониторинга
  
• Continuous delivery
  
• Программировать на Bash, Ruby, Python, Go, Perl, уметь понимать конфиги на самых экзотических языках, например YAML
  
• TDD
  
• продукты hashicorp
  
• автоматизировать создание и восстановление бэкапов баз данных
  
• масштабировать приложения по горизонтали (настраивать балансировщики, реверс-проксирование, шардинг и репликацию в базах)
  
• рассчитывать и оптимизировать издержки на поддержание инфраструктуры приложений
  
• видеть будущее инфраструктуры приложения и компании, двигать инфраструктуру в это будущее
  

DevOps - это хипстерный вариант программирующего сисадмина. Нужно уметь очень быстро учиться и непрерывно осваивать новые технологии. Если какая-то технология только в альфе, вы уже должны учиться уметь ею пользоваться. В момент беты вы ее уже должны обкатывать в пилотных проектах, а релиз должен автоматизированно устанавливаться в продакшене.

Comments

[Vi]

- мониторинг на riemann
- dockerize everything
- сети уже только виртуальные (SDN, OpenFlow)

и так далее )

[Philipp]

Vi: я бы добавил авторматизацию управления сетями. Аникей хорошее определение, только с фокусом на умение с умом осваить все новое и разбираться во всем.

[Vi]

Philipp T: но ты круто описал примерный вид DevOps назвая его при этом Аникеем)

[Sanes]

Vi: Так оно и есть. И не админ и не программист. Всего понемногу.

[Philipp]

Vi: anykey в хорошем смысле слова, т.е. готов к разным видам разработки. Ни в коем случае не хотел оскорбить. DevOps частенько все приводит в порядок, в том числе и процесс разработки иногда.

[wazebup]

Philipp T: спасибо за столь развернутый ответ. А SQL на каком уровне нужно учить?

[Philipp]

wazebup: на уровне повседневного использования, но с уклоном в сторону настройки баз, бэкапов, партицирования, шардинга, восстановления данных, построения индексов и идентификации забытых индексов. Ключевые слова Deployment/Tuning/Performance/Optimization/Scaling.

[Philipp]

wazebup: еще все хотел добавить один интересный момент, который подсмотрел в одной из статей. Вам нужно перестать думать об одном сервере. Думайте о серверах, как о стаде овец или коров. Т.е. как вы сможете делать операции сразу на многих машинах, вне зависимости от их количества. Еще нужно познакомиться с вот таким понятием https://12factor.net/ru/

[Михаил]

Небольшие замечания:
DevOps - не профессия
Vagrant - не контейнеры
YAML - не экзотика, а почти столь же распространенный язык разметки, как XML (куча продуктов на нем от Ansible до RoR-конфигов).

Bash, Ruby, Python, Go, Perl - зачем? Нужно знать языки для автоматизации (тут можно оставить Bash и Python только, изредка Ruby) и язык приложения, которое обслуживаешь - тут уж может быть любой язык.

Остальное все по делу сказано.

[Алекс]

> можно стать DevOps'ом вовсе не зная сетей и SQL?

нет, имхо. Как минимум без первого. Ибо на сетях строятся все сервисы. И когда вас попросят настроить VPC в том же AWS, то без хорошего знания сетей там делать нечего. То же касается и траблшутинга, ибо практически все сервисы завязаны на сеть. Почитайте того же Олифера или Таненбаума.

Как действующий DevOps крайне советую таки разобраться в сабже ;)

> dockerize everything
потому что стильно/модно/молодежно? Не стоит забивать гвозди микроскопом

[Алекс]

> контейнеризации (Docker, Vagrant)

а какое отношения Vagrant имеет к контейниризации?

[Philipp]

Алекс: я имел ввиду Vagrant Box. Я согласен, что Vagrant это не технология контейнеризации, а скорее утилита для управления виртуальными машинами.

[Алекс]

кстати только что попалась на глаза статья из цикла "Сети для самых маленьких", https://habrahabr.ru/post/217585/ можно для начала их почитать.

Answer 2

[Sanes]

А вы и не сможете всё знать. DevOps это, как эникей. Куда ветер подул, то и учит.

Comments

[wazebup]

Вот мне нравится Линукс, а сети не даются вообще, не понимаю я их, и все. А все вакансии линукс-админов связаны с сетями. Думаю может из-за этого бросить это все, и начать учить фронтенд.

[Sanes]

wazebup: На реальных примерах пробуйте. Начните с роутера, там как раз NAT.

[wazebup]

Sanes: Дело в том, что у меня университетский wi-fi, роутера своего нет для экспериментов. Я ставил себе cisco student packet tracer - но так мне чужды вообще все эти сети, ничего не понимаю и не могу запоминать.

[Sanes]

wazebup: https://youtu.be/6YWX2i-izNk?list=PLHN9m7XN8U8HQ4K...

[wazebup]

Sanes: по этому курсу и учил :)

[Sanes]

wazebup: Посмотрите канал Кирилла Семаева. Там есть плейлисты для подготовки к экзамену LPIC
https://www.youtube.com/user/itsemaev/playlists

[Vi]

Не даются сети не учите, курсы CCNA, или курс российский "сети для самых маленьких" (он и не для маленьких тоже ого-го)

[Михаил]

"А вы и не сможете всё знать. DevOps это, как эникей. Куда ветер подул, то и учит."
Наверно, так можно сказать про любую профессию.

Answer 3

[Михаил]

Я вот тут ответил развернуто:
Что нужно знать чтобы стать начинающим системным инженером (devops)?

Comments

[nikolayvaganov]

Миша, пиши еще :) Я бы добавил к этому еще горизонтальное, вертикальное бесшовное масштабирование и оркестрацию

[Михаил]

nikolayvaganov:
какие люди! как тесен мир :)

Answer 4

[Vi]

Слушай, можешь еще lisp выучить если хочешь быть DevOps, где большие данные там lisp,
где DevOps, там часто работа с данными и ее анализ, ну или тесная работа с аналитиками.

По поводу сетей наверное не стоит беспокоится, это пару лабороторок выполнить и все поймется.

Comments

[Максим Сёмочкин]

Где большие данные там hadoop, где большие данные там Hive, где большие данные там Spark. Ой как я мог забыть про R? :)

[Алекс]

> По поводу сетей наверное не стоит беспокоится, это пару лабороторок выполнить и все поймется.

ну ну

[Vi]

Алекс: думаешь все таки нет? недостаточно чтоли ?

Answer 5

[Polina_G_23]

Постоянный автор журнала «Системный администратор»,
технический эксперт – Игорь Штомпель предложил дискуссию в журнале «Системном
администраторе» не только о преимуществах и востребованности DevOps-инженеров,
но и какой проектный опыт, технические навыки сейчас необходимы для новой
вакансии в компаниях.
Сотрудничество разработчиков и системных администраторов помогает сократить
количество проблем при внедрении больших распределённых систем. Теперь
ИТ-процессы происходят уже за меньшее количество времени. Бизнесу проще
успевать и за конкурентами, и за рынком. Не остались без внимания задачи
клиентов и конечных пользователей. Этот технический союз повлиял на методологию
триединства: люди, процессы и инструменты, а именно – DevOps. То есть
оптимизированы ресурсы и возможности не только в команде ИТ-специалистов, но
также и всей технической среды компании.
При правильном внедрении и построении DevOps-культуры быстрее находятся
проблемы и ошибки, и соответственно, их решение происходит уже более
оперативно. Приложения становятся более надёжными, соблюдается CLA.
DevOps-инженеры имеют достаточно опыта в обеих областях: это и хорошие
сисадмины, и замечательные разработчики. Поэтому крайне востребованы на рынке
труда. В вузах, на данном этапе, такой специализации пока нет.
А хороших DevOps-специалистов мало. Поэтому постоянный автор журнала «Системный
администратор», технический эксперт – Игорь Штомпель начинает новую рубрику в журнале «Системный администратор» о DevOps направлении в ИТ-проектах. Более подробно в группе ВКонтакте журнала «Системный администратор» https://vk.com/samag?w=wall-26064343_870 Свои предложения, участие в будущем разделе в качестве автора, интервьюера можно оставлять в комментариях группы VK или на сайте издания.