Как набираться опыта в администрировании Linux и находить интересные задачи?

Question

[nivs]

Вчера участвовал в одной олимпиаде (потом ссылку на отчёт сюда вставлю, как появится), там были задания по кластеризации с использованием drbd + gfs2, ctdb + samba. До олимпиады я вообще о таких технологиях не слышал, оказалось всё это очень интересным и полезным. В связи с этим возник вопрос: какие существуют ещё интересные задачи в реальных компаниях, которые можно решить в домашних условиях, чтобы набраться опыта для участия через год, да и просто на будущее? Самое очевидное - устроиться на стажировку в какой-нибудь Яндекс, это понятно, а если дома? Опыта в массовых проектах нет, работы глобальной нет, знакомых IT-специалистов нет. Интересуют как конкретные примеры, так и названия полезных инструментов, желательно, чтобы оба пункта были в примере.

Comments

[nivs]

И может есть какая-нибудь живая конференция в jabber, где админы подобным опытом обмениваются?

[kenny_opennix]

http://jabberworld.info/%D0%9A%D1%80%D1%83%D0%BF%D0%BD%D1%8B%D0%B5_%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%BE%D1%8F%D0%B7%D1%8B%D1%87%D0%BD%D1%8B%D0%B5_%D0%BA%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B8

Answer 1

[Harbid Abu Marhamedoff]

Поизучать Linux хорошенько для начала. Попробовать Linux from scratch, Debian from scratch. Собрать live-iso со своей системой. Поставить виртуализацию, и не из коробки, а типа libvirt хотя бы. Понастраивать сеть, vlan-ы, раздать виртуальным машинам инет из реальной по dhcp с nat. Поставить squid, LAMP, LEMP, почтовый серверы. Попробовать их пробэкапить, убить, поставить заново и поднять бэкапы. Поставить сервер на sw raid, поменять конфигурацию raid "на лету". Развалить sw raid на два разных сервера, восстановить на обоих raid-ы. Поставить на sw raid дистрибутив, установщик которого не предоставляет возможности ставить на sw raid. Собрать "свой" десктоп из разных компонентов на базе платформы без иксов. Распечатать из виртуальной машины на cups-сервер реального сервера и наоборот. Расшарить по nfs ресурс реального сервера и подключиться к нему из виртуальных. Раздать разные права nfs разным машинам. Поставить, в конце концов, в Debian официальные Firefox, Thunderbird и Seamonkey!

Comments

[nivs]

Да, вот что-то такое я и хотел получить. Часть из списка уже осилил, вот про libvirt не совсем понял, вы это http://ru.wikibooks.org/wiki/%D0%A3%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B5%D0%B9_%D0%BD%D0%B0_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B5_libvirt имели ввиду? Помимо фундаментальных и общеиспользуемых вещей, больший интерес для меня представляет направления кластеризации, распределения нагрузок, бекапов и всего такого. Если быть точным, мне нужно будет повысить отказоустойчивость Asterisk и IceCast. Есть ли какие-нибудь фундаментальные приёмы/инструменты для работы с этим? Вот пока что нашёл http://www.freebsdcluster.dk/~lasse/icecast-lvs-cluster-howto/ P.S.: но и про остальные направления забывать не буду, тоже интересуют.

Answer 2

[Сергей]

Поставить линукс! Снести линукс! Забыть про линукс! =) Ну а если по делу ... то сколько теорией не занимайся ... пока нет сервисов которые завязаны на эти машины в режиме нонстоп ... толку в самосовершенствовании ноль. Вот давай рассуждать логически. Поднял ты лампу и нет у тя сайта своего. Хватил верхушек. Снес. А дальше что? Мозгов станет больше?) Постановка твоего вопроса порочна. Ибо нужно понимать что опыт приходит с реальными проектами.

Comments

[nivs]

Вот я как поставил его 3 года назад (боже мой, всего 3 года), так всё никак не удалить, наоборот, с ноутбука венда ушла. Почему теорией не заниматься? И почему порочна? Дело в том, что оказалось, что я не знаю возможного инструментария, я не знаю, чем надо пользоваться, когда та или иная задача возникнет, не могу взять на себя обязательство разобраться и настроить ту или иную систему. А всё по причине отсутствия знаний об инструментарии. Именно эту брешь я и хочу занять. Просто прочитать мало, я забуду всё напрочь уже через месяц, а вот имея рабочие конфиги, посидев над какой-нибудь самбой недельки две, я уже смогу хотя бы в общих чертах знать, где применить можно, что это такое и с чем едят. Опыт реальных проектов придёт, как ни странно, с реальными проектами, безусловно, но хочется понимать хотя бы приблизительные возможности в той или иной сфере. Мне очень нравится понимать приблизительные схемы работы того, чем я пользуюсь, а тут ещё и потенциальная работа.

[Сергей]

На данный момент есть несколько основных направлений развития - Базы данных с глубоким погружением! - Системное администрирование сетей - Специалист по информационной безопасности - Виртуализация - 1с =D - 1c - 1c!!!!!!!!!!!!!! - Кодинг или скрипты - WINDOWS - Монтаж сетей - Разработка и поддержание сайтов Теперь небольшой секрет. Универсальных спецов не бывает! В любом из направлений нужны База Данных, основы виртуализации и чучуть паранойи. Если чего-то из этого нет ... значит не там работаешь. Все направления захватить не получится!!!! Ибо объем знаний огого. После того как появился стартовый багаж ... предстоит выбрать основную специализацию. И потом долбить, долбить и еще раз долбить всё что по ней есть. Лет так пять. Желательно долбить всё это за чей-то счет!!!! Отвлекаться от специализации нужно только для развития мозгов и самообразования. И не более того. В свете вышенаписанного я и говорю что вопрос был порочен. В основу вопроса было заложена ошибка. Что линукс это направление развития. Боюсь что нет. Линукс это всего лишь платформа для работы. И не факт что вы устроитесь на работу и будете работать на нем. Но вы в любом случае устроитесь по специализации! И вам нужно будет жить с ней всю жизнь. Из того что посоветовать ... ну что ж ... начните с покупки домой нормального роутера. =) Не d-link или похожее, а например Микротик или Циску(на что денег хватит)! Разверните Вмварь и на ней поднимите как минимум одну машину под БД. Это то что у вас должно быть всегда. Остальное уже будете приобретать с учетом специализации.

[nivs]

И телефония ещё. Топик изначально назывался иначе, его потом какой-то модератор исправил без моего участия. Я ещё только в начале пути, ещё не выбрал специализацию, ищу интересную и хорошо оплачиваемую сферу, где бы смог работать. Да и в любом случае это всё интересно с точки зрения самообразования. Буду пробовать, спасибо.

Answer 3

[Николай Турнавиотов]

Реальные и интересные задачи - это веб сервера, сервера баз данных, почты под высокой нагрузкой. На изучение тонкой настройки конкретного компонента - подсистемы хранения, памяти, операционной системы, конкретного дистрибутива и сервиса уйдёт очень много времени.
Обычно со знанием таких крутых штук забирают работать во всякие Амазоны

Comments

[nivs]

Я с вами, наверное, соглашусь. В самых ближайших планах понимание и поднятие нечто такого - http://habrahabr.ru/post/198934/ . Есть какие-нибудь известные вам качественные инструменты/success stories из этой области? Советовали очень упорно посмотреть на MongoDB. Из тонкостей пытаюсь сейчас понять принцип работы SELinux.

Answer 4

[kenny_opennix]

Я начинал учится с установки linux как основной системы, далее пошло и поехало веб сервере, оптимизация нагрузки, поиск и устранение узких мест, тунинг системы, распределенные нагрузки.
Совет Вам такой, начните пользоваться linux в обыденной жизни, кроме боевого опыта никакие книжки не помогут. Никакие курсы не дадут Вам профессионализм.

Выбирете себе основное направление и штурмуйте, будь-то веб серера, кластеры или почтовые системы.
Любому работодателю, интересен опыт и знания практической части, не каждый админ Яндекса гуру и не каждый гуру админ яндекса.
Дерзайте

Comments

[nivs]

Как пошло поехало? На работу устроились? У меня linux в качестве основной операционной системы давненько уже. Вот пытаюсь найти интересное и прибыльное направление.

[kenny_opennix]

Я linux занимаюсь со времен slackware 7, точнее как основная ос, в данный момент работаю руководителем отдела высоконагруженных систем, прошел путь от рядового админа до руководителя. Единственный минус в том, что я вообще не знаю windows. Просто когда решил пойти по дороге сис админства, поставил себе план что надо выучить, в чем разобраться и делал.

[nivs]

А как вы выбирали путь?

[kenny_opennix]

Мне всегда было интересно вещание и веб сервера, душа у меня к ним лежала, в универе построил в общаге локальную сеть, сделал сервер, с дц, сайт, все крутилось на linux, можно в принципе начать с малого. Сделать себе блог, настроить с нуля веб сервер(nginx допустим), fastcgi(php-fpm), бд( в принципе ту которая больше понравится), сопровождать и администрировать свой блог, для начала. Как начнутся узкие места, само собой начнется поиск проблем оптимизация ос, оптимизация софта. Вам что ближе? Сети? Базы? Веб? А может стриминг?

[nivs]

Последнее время я занимаюсь системой оповещения и интернет-радио университета, использую Asterisk, IceCast, Liquidsoap, довольно интересно. Не знаю, как определить то, что мне ближе, иначе как попробовать себя в той или иной сфере. А вообще интересно просто решать сложные (и не очень) задачи проектирования систем, вот со сферой сложнее. К сожалению, с разработкой ПО проблемно, с горем пополам знаю основы Python, C++, написал штук 20 минипрограмм с использованием Qt (сетевые, игры, работа с изображениями, БД), но жизнь свою связывать чисто с программированием не хочется. Сети интересны, организация отказоустойчивости (нагрузки, выход из строя), проектирование БД в рамках университетского курса не плохо получалось,

[nivs]

Блин, нечаянно отправил. Веб в плане чего? Написания движков скорее нет, а вот какая-нибудь кластеризация nginx`a чуть более чем, в ближайших планах. Стоит ли посещать курсы какие-нибудь? Пытаться сертификаты получать разные с моим уровнем вхождения (без опыта работы с реальными нагрузками) имеет ли смысл?

[kenny_opennix]

Под Веб я подразумевал именно администрирование и понимание принципов работы http протокола, работы веб серверов, жизнь соеденения от ввода пользователем адреса сайта до момента отрисовки сайта в браузере. Принципы построение сетей, знания и понимания сетевых протоколов. Для начала устроится младьшим админом, конечно если windows не заставят админить. Мне повезло на первой работе, меня сразу пересодили админить сетку около 10К юзеров, и сервера на freebsd. Курсы дадут теорию и только, причем когда ко мне на собеседования приходят после курсов Специалиста, слезы наворачиваются от качества преподавания. Честно сертификаты сам лично получил только год назад вчастности LPI и BSDA и то просто на работе сказали что надо :)

[nivs]

Да, это довольно интересная сфера. Нужна ли эта теория? Полностью полагаться на преподавателя никогда не стоит, если цель - получить знания, мне так кажется. Я подумываю ещё год посвятить самообразованию/курсам, а потом попробовать на стажировку в Яндекс (или другую крупную компанию) пойти, если примут. А пока наращивать знания для определения специализации и убеждения компании в том, что меня надо обязательно-обязательно взять под опеку. Администрирование веб перспективное же направление? Если упор делать на это, то хорошо (относительно) оплачиваемую работу найти реально? Я совсем не в теме.

[kenny_opennix]

IT молодая сфера как никрути и любое направление перспективное. Будь-то субд или администрирование веб серверов. Работу найти можно всегда. Купите книгу Операционная система Unix теории там за глаза. По поводу курсов я отношусь скептически, один раз записался на курсах было в 2007 году, пришел, знаний у меня было не особо много, но даже с теми знаниями, стало понятно, что ничего нового мне не расскажут. Любые курсы какие я покрайней мере видел, выглядят как перепичпатывания книжек или вики. Учебный план составляют неудачно, методички никакущие. Меня как человека с педагогическим образованием ставит в тупик как так составляют метод материалы! Такое ощущение что курс Теория и методика преподавания прошли мимо. Я сам самоучка, книги, гугл.

[Дэн Иванов]

Субъективное мнение. Сетевые администраторы в их класическом понимании отомрут лет через 5 с развитием SDN. Конечно от них не избавятся так быстро, в больших организациях и проектах, но среднем думаю отомрут. А в малых проектах их уже заменили "обычные" сис админы с базовыми зананиями сетей. Когда мы с вами говорим системный администратор, на мой взгляд мы все таки понимаем прикладное администрирование (БД, веб сервера, почтовые сервера) , то есть настройку тех или иных сервисов, либо простейшая их комбинация для реализации какой то задачи. В крупных организациях, среди администраторов выделяются специалисты по СХД, специалисты по высокопроизводительному web, специалисты по БД, специалисты по CI если говорим про веб и т д. Да возможно все они в одном отделе и в какой то степени могут друг друга заменить, но у них есть специализации. Так что мне кажется, вы пытаетесь объять необъятное. Специализация это первое что необходимо. Из личного опыта, когда вставала действительно сложная задача, со всеми своими "администраторскими" знаниями я лишь мог понять что готового решения нет, и для реализации нужно как минимум писать интерфейсы связывающие компоненты других решений, а местами и писать с нуля пусть и не большие куски. И тут возникает вопрос взаимодействия с разработчиками внутри вашей компании, и кому что и сколько времени писать. На мой взгляд, на данный момент, перспективный и успешный системный администратор это не тот кто поставил все что только можно, а тот кто имеет некоторую специализацию + еще немного и программист, точнее даже code monkey как бы печально это не звучало. И еще вопрос ко всем отписавшимся здесь: какие сложные задачи решает сисадмин ? Архитектор (системный / программный) да, решает. А админ ?

[kenny_opennix]

У вас какое-то странное мнение, архитектор да сделает модель, а админ ее может порушать в пух и прах. Системный администратор, решает многие задачи. Допустим администратор веб серверов. решает пути оптимизации, маштабирования. А то такими темпами без знаний сетей и протоколов будут путать DNS с dhcp. Практически любой сис админ я имею ввиду не джуниор, архитектор по неволе. Так было есть и будет. У меня в штате 40 человек админов, да обязанности разделены, да разные направления, но случись война, практически каждый может подменить другого. Я именно так выстраивал работу отдела, что если человек хочет развиваться, то будет, если хочет помимо баз еще и с фрей поиграть или узнать хадуп изнутри, велкам. Если не хояет его дело никто не заставляет будь узконаправленым. В любой компании развития админов и отделов на плечах и совести руководителя отдела. Админ если не админ windows должен и обязан знать уметь и понимать основные принципы администрирования, основные разделы администрирования.

[Дэн Иванов]

Странный такой архитектор который не работал с теми или иными решениям и не знает их функциональные возможности, что его может разнести в пух админ. "Архитектор по неволе" - согласен, но чаще всего его решения "не того объема", и довольно примитивны. Про то что в отделе могут многие друг друга подменить, я тоже говорил, но специализация присутствует и на мой взгляд она важна, а то получается такой "понахватавшийся" админ, или как говорят senior junior. Необходимость базовых знаний я также не оспаривал. Я лишь пытался сказать что современному администратору важна специализация, а чтобы решать в рамках этой специализации действительно сложные задачи, иногда приходиться что то и написать. За последние 10 лет в IT появилось множество направлений и сфер, и каждая развилась довольно настолько глубоко, что один человек вряд ли сумеет охватить их все, разом, и полностью.

[nivs]

@kenny_opennix , да с теорией устройства операционной системы я в принципе знаком, мне кажется, достаточно. Можно найти курсы, которые готовят, к примеру, к RedHat'овским экзаменам, с другой стороны, можно и самому подготовиться. У меня скорее проблема в отсутствии общения с людьми из этой сферы, тоже с самого первого момента общения с компьютером на самообучении. @ptchol , согласен с вами насчёт необходимости специализации, а кругозор, мне кажется, расширять можно и просто ради интереса. По вашему мнению, в какую сторону стоит специализироваться? Веб-сервера?

[Сергей]

В сторону того что у вас есть работа в регионе и в сторону того что лежит к мозгам. Насчет сертификации по линуксу полностью согласен. По сути своей есть только 2 корпоративных дистрибутива, сюзи и шапка.

Answer 5

[Redf]

Можно ещё купить пол-десятка (десяток, сотню, тысячу) Raspberry Pi и тренироваться, сколько влезет.

Comments

[nivs]

Дешевле будет запустить штук 60 виртуалок, а толку?

Answer 6

[Алексей Ямщиков]

возьми системник, накати на него Linux (Ubuntu Server например)
возьми второй системник, накати на него Линукс
возьми третий системник, накати на него Линукс

играйся.

"системник" можно заменить на "Виртуальная Машина"

Так же можно взять 3 системника, накатить гипервизор и играться.

ИМХО, реальный опыт только в реальных условиях. иначе только моделирование, но по мне этот способ бестолковый, т.к. нет никаких реальных данных и самостоятельно придумать сложно

Comments

[nivs]

Я подобным образом с самбами, апачами, астерисками, айскастами опенвпнами, джабберами, почтами, днсами и всем таким поступаю на виртуалках/VPS'ах с разными дистрибутивами. Собственно вопрос и заключается в примерах условий. К примеру, какие задания вам запомнились больше всего, над которыми вы много провели времени и считаете сложными?

[Harbid Abu Marhamedoff]

Сложно было поставить 9 Debian со всеми нужными мне сервисами после того, как скончался винт с сервером на 7 Debian-е. И это при том, что был бэкап всех конфигов /etc и БД. Да ту же Deluge с web-мордой на 9-ке корячил неделю. Всё переделали и изнахратили в 9 версии :(

[Алексей Ямщиков]

nivs, понекрофилю )))
Самое запоминающееся это когда разгребаешь факапы. Включил HA на xenserver на слабодоступном сторадже получил сплитбрейн в кластере - разгребал (лет 5 назад было, если не больше)

Как-то переносил сервис с FreBSD на Linux. Срочно нужно было настроить зеркалирование дисков (mdadm) да так, чтобы оба диска были загрузочными. Причём сервер уже утром нужно было везти на колокейшен площадку. Лет 7 назад было. Опыта по настройке iptables и mdadm понабрался. А до этого особо их не понимал и боялся. Но я до сих пор убеждён, что mdadm унылое гавно по сравнению с gmirror на Free.
Хотя уже за плечами не один десяток серверов с mdadm, и мил он мне давно стал и прост как АК-47, но всё же, но всё же....

Тоже самое с LVM - пока не было нужды его использовать, он мне был непонятен, я его стороной обходил. Теперь меня сложно убедить в том, что он сложный и его не нужно использовать. Особенно после того как перетянул несколько раз на горячую разделы с умирающих дисков на свежие.
Ну а вообще много всего было, и дрова видюхи слетали, и с wine копался для настройки и игр и софта.
По работе прокси, http серверы, самбы, nfs и т.д. и т.п.
Всё начиналось с малого. Сейчас кластеры кубернета, докер, гитлаб и девопс направленность.

Answer 7

[nivs]

del