Что означает «траблшутинг на проде» в контексте Linux?

Question

[Кирилл Трифин]

Обучаясь на курсах одной небезызвестной онлайн-школы, я услышал фразу "траблшутинг на проде". К сожалению, преподаватель не посчитал нужным разъяснить, что означает эта фраза, и никто из моих однокурсников тоже не поинтересовался.

Comments

[сергей кузьмин]

когда вас допустят - вам понравится. берется код кладется в прод все падает наступает траблешутинг до увольнения

[GavriKos]

Бросайте курсы. Если вы не задаете вопросы там и в моменте, а потом идете уточнять на тостере, играя в испорченный телефон - то курсы вам точно не нужны.

[Евгений Залецкий]

А почему вы не спросили? Для этого курсы и нужны, чтобы спрашивать и учиться, если лектор говорит и никто не спрашивает, он думает что людям понятно и не углубляется.

Answer 1

[Saboteur]

На линукс сервере что-то не работает.
Или даже повезло и конкретно знаете что не работает вот это приложение.

Траблшутинг - выяснить почему не работает, и сделать так, чтобы заработало.
В это входит и понимание как вообще анализировать конфигурацию, куда смотреть, читать логи это понятно но какие, где лежат, как читать, что в них искать?

А теперь усложняем тем, что это продакшен. Доступ к нему ограничен, нельзя всем вместе пойти посмотреть.
Пользователи не могут пользоваться сервисом, теряем деньги, начальство торопит, ругается, стоит над душой.

Comments

[AUser0]

А ещё больше усугубляет ситуацию, когда в логах информации нет, но система чем-то загружена под завязку, и приложение глючит, и нужно найти причину, и при этом ничего не сломать, потому что продакшн и всё-всё-всё такое...

[Mad_User]

AUser0, htop в помощь, когда надо узнать чем под завязку загружена система)

[AUser0]

Mad_User, ну да, ну да, ну да... :-D
Вот в 'htop' вы увидели нагруженный процесс /usb/sbin/mysqld. Всё, проблема на этом решена?
Если нет - тогда огласите весь список утилит, пожалуйста! А то что это, один 'htop' - и всё?!??!

[asmelnik]

вы увидели нагруженный процесс /usb/sbin/mysqld.

В конфиге указываете -- журналировать запросы с подробностями, и обнаруживаете, что какой-то гений объединил в запросе 4 таблицы по 10 - 20 тыщ записей, и ищет одну несчастную строчку полнотекстным поиском в результирующей таблице на 10 000 000 000 записей....
Как говорится
"Жаль нет ружья..." (КиШ)

[chupasaurus]

Mad_User, htop может и добить еле живую систему, не надо так.

[GavriKos]

asmelnik, или не обнаруживаете, потому что мускуль еще и диск насилует, или сервак настолько нагружен что хер вам а не отредактировать конфиг, или еще что нибудь. Вот мы тут щас траблшутингом и занимаемся.

[Mad_User]

chupasaurus, хах) чем он может её добить?) Глупости не пишите

[Mad_User]

AUser0, дальше ставите утилиты необходимы вам для ограничения потребления ресурсов (cpulimit тот же например) и ограничиваете разожравшийся процесс

[chupasaurus]

Mad_User, https://github.com/htop-dev/htop/issues/1211 и это не первый и не последний прикол.

[Saboteur]

Mad_User, чем htop лучше чем top?

Если мерять прям скурпулезно, то надо неплохо разбираться в архитектуре и как работает process scheduler.
А быстрый анализ - штатный top, который всегда есть из коробки, более чем достаточный

[Saboteur]

Mad_User, То есть процессы у вас именно зажравшиеся, и их надо ограничивать?
А не оптимизировать, дать больше железа, найти что именно тормозит?

[Mad_User]

Saboteur, когда ты не являешься фактическим владельцем сервера, то ты не можешь просто взять и дать больше железа. В моём случае всё зависит от желания и возможностей клиента.

Answer 2

[pfg21]

один из методов решения проблемы "стабильность против свежесть" ПО в продакшене.
к примеру тот же старикан дебиан "сильно тормозит" и от выпуска обновления исходников по до внедрения в стейбл-дистр есть куча этапов, где вылавливаются баги в том числе и на продакшене "хотящих новшеств".

а есть и более быстрые в плане новшеств дистры (не будем тыкать пальтцем:) ) которые предоставляют свежие, не полностью вычищенные исходники на продакшен пользователя - вот там аккурат и получают "траблшутинг на продакшене" для линухи.

п.с. в некоторых решениях, не требующих стабильности "траблшутинг на продакшене" становится очень выгоден и его используют.
ну к примеру в организации бесплатных впс, мелких сайтиков и прочей бесплатной дребедени. договором пользователю там ничего не гарантируется, даже если все накроется БП, он может лишь дождаться примитивного восстановления системы. а проверка серверного ПО идёт отлично и во множестве применений :)

это если буквально понимать "траблшутинг на проде в контексте линукс" :)

Comments

[shurshur]

Что это за нелепое заблуждение, что траблшутинг это отладка на проде? Это же чушь полная.

Даже идеально написанное и тщательно оттестированное решение может от чего-то начать работать не так как надо. Причём даже не всегда по вине самого решения. Например, закончились ресурсы, поехал план запроса в базе, mtu слишком велик для пролезания пакетов в vpn, с внешней стороны прилетело что-то, что неправильно распарсилось либо наоборот, что-то внешнее отвалилось/тормозит/неадекватно отвечает итд итп. И всё это надо обнаружить, изучить, починить и порой даже принять меры к недопущению в дальнейшем.

А в реальности у идеального приложения могут возникнуть проблемы даже через годы успешной эксплуатации. У нас был случай, когда из-за какой-то неаккуратной (non-threadsafe) работы с данными после двух одновременных запросов в объект записалась дата с годом 23004, которая не смогла вставиться в базу и из-за особенностей приложения начала вставляться с бесконечным числом попыток. Разработчики это позже исправили, но мне-то пришлось решать как починить сдохшее приложение прямо здесь и сейчас, а не когда разработчики доберутся. И что интересно, проявилось на экземпляре, в котором от силы полсотни запросов в сутки, хотя баг был во многих компонентах, в том числе с миллионами запросов.