Насколько глубоко нужно знать Linux дата-инженеру?

Question

[dmvlch_dev]

Подскажите, что надо знать дата-инженеру в Линуксе?

Comments

[Alexey Dmitriev]

Дата инженеру нужно знать - что нужно сначала гуглить, потом пробовать самому, и только уже после всего этого задавать вопросы.

[dmvlch_dev]

Этот метод тоже использую, просто сфера относительно новая и требования в вакансиях отличаются. Я подумал, может если кто работает дата-инженером подскажет чем нужно владеть.

[Сергей П]

dmvlch_dev, слишком размытое понятие. Где какие требования. Я в своем ответе привёл тот набор. который считаю обязательным для того, чтобы эффективно работать. Однако у датаинженеров наверняка есть свои узкие направления, может быть кто-то с такой строчкой в трудовой будет годами в экселе сидеть и формулы настраивать, а кто-то в маткаде будет коэффициенты в формулах крутить, а кто-то будет сидеть в greenplum и процессы настраивать... И вот всем этим типам инженеров в разной степени объёма и необходимости может пригодиться линукс. Опять же, кто-то должен уметь данные извлекать, кто-то должен уметь настроить их резервирование... насколько всё это будет соответствовать роли - это у каждой вакансии своё понятие. Для общей эрудиции конечно надо уметь пользоваться линуксом. Это повышает вашу ценность. А по факту кака решит работодатель и чего будет от вас требовать - это решать только ему.

[CityCat4]

То, что требует работодатель

Answer 1

[Сергей П]

По-хорошему, надо знать то, что потребуется для работы.
Обычно это понимание как работает командная строка, терминал, ssh.
Немножко вглубь: файлы, дескрипторы, файловая система, монтирование, симлинки, хардлдинки, пайпы, конвейеры, синтаксис перенаправления между стандартными потоками ввода/вывода, базовые утилиты командной строки (grep, ls, tee, tail, cat и т.д.), желателен какой-то опыт работы со всем этим, понимание как обычно устроен механизм передачи параметров в таких утилитах, как их выстроить в конвейер, как запаковать\распаковать поток данных на лету. Желательно понимать что такое, как устроены и для чего нужны make-файлы.
Нужно понимать как пользоваться менеджерами пакетов основных дистрибутивов, желательно в общих чертах понимать что такое докер, контейнеризация в целом, ориентироваться в командах управления образами и контейнерами, понимать что такое вольюмы и где их искать, уметь читать докер-файлы и компоуз-файлы, понимать как вообще это всё работает. Ну и GIT нужно уметь использовать.

Это основа, но наверно от джунов всего списка никто ожидать не будет - обучат по ходу дела, а если вы претендуете на большее, то сможете быстро разобраться в нужных вопросах, если претензии ваши обоснованы, а пробелы обнаружились.

Comments

[dmvlch_dev]

Спасибо за развернутый ответ!

[CityCat4]

Хм. Абзац "немножечко вглубь" - это скорее требования к джуну-разработчику.

[dmvlch_dev]

CityCat4, а для мидла?

[Сергей П]

CityCat4,

"немножечко вглубь" - это скорее требования к джуну-разработчику.

И к нему тоже. Датаиженер должен где-то брать данные, должен уметь с ними по-всякому работать. Всё перечисленное для этого полезно, а на конкретной вакансии может и экселя хватить.

[Сергей П]

dmvlch_dev, А у мидла таких вопросов уже не возникает обычно.

[dmvlch_dev]

Сергей П, согласен, просто очень любопытен)

Answer 2

[ky0]

Соберите статистику с релевантных вакансий, сходите на пару собесов. Теоретически на этот вопрос можно ответить примерно как угодно, от "вообще не надо знать" до "ассемблерных вставок в код".