Дано:
QA с трехлетним стажем. В основном manual, но фактически хорошо знаю python, docker и т.д. по стандартному стеку. Решил не идти в automation, т.к. стало интересно направление данных в целом.
Начал осваивать Pyspark вкупе с Airflow. Успел поделать для себя примеры с перетаскиванием и обработкой данных из открытых источников, и, пока продолжаю набираться опыта, решил параллельно пооткликаться на вакансии.
Но в итоге столкнулся с жесточайшим гейткипингом. На 50 моих откликов - 0 откликов (не офферов!) от работодателей. Дело не доходит даже до первоначального скрининга с HR. Судя по ответам - почти всегда дело в отсутствии релевантного рабочего опыта.
От безысходности стал искать стажировки и курсы, и нашел бесплатный обучающий курс от немаленькой компании. Но даже туда требуется минимум 1 год релевантного опыта! На ОБУЧЕНИЕ, Карл, требуют релевантный опыт РАБОТЫ!
И я понимаю, что для отбора кандидатов на курс компании нужно было придумать определенные критерии, но это уже слишком.
Вопросы:
1. Где получать опыт работы по дата инжинирингу?
2. Кем нужно быть и что нужно уметь, чтобы джуниору или хотя бы стажеру получить оффер?
Ситуация, вероятно, актуальна для многих направлений в IT, но все же хотелось бы услышать мнение тех, кто варится в сфере больших данных.
Откликайся на все что связанно с данными, не нужно пытаться зайти именно в data engineer. В большинстве компаний которые работают с данными нет такой позиции.
Если честно, я так и предполагал, поэтому отзывался ещё и на etl инженера, и на дата аналитика. Но это не сильно помогает.
Я на 100% уверен, что если открою завтра аналогичное резюме, но назовусь разработчиком и стану откликаться на классического web Python разработчика (Джанго, фастапи, етц... ), то я как минимум буду попадать на скрининги и тех собесы.
Почему в сфере данных HR даже не пытаются что-то выловить на рынке вакансий - я не понимаю.
По интернету ходят мнения, что дата-тусовка это прям нишевое направление и попадают туда только со специфическим образованием. Может быть вы сможете пролить свет на эти слухи, учитывая, что у вас есть опыт работы в этой сфере?
latetematoto, Смогу, конечно.
1. Образование, курсы, сертификаты не сыграют ни какой роли.
2. Четкое разделение на позиции существует в крупных компаниях + там где кому то кто принимает решения этого захотелось, наслушался где то. В большинстве компаний, нет такого etl инженер, дата инженер, под дата аналитикой может быть google sheets и 'эксель пониматься.
3. На любую позицию, в основном не будешь проходить скриннинг, если из 100 откликов 1,2 собеса набралось уже хорошо.
4. Все вакансии с датой, и там где опыт требуется тоже откликаешься, написано там дата инженер, ml инженер, ai специалист, python разработчик с уклоном в ml и т.д. везде откликаешься.
5. Поменяй стек ml flow, pyspark вечно будешь ждать.
pandas ( реально на крутом уровне), scikit learn, визуализация, sql, fastapi (а он тут при чем) эндпоинты для моделй описывать, с апи разными взаимодействовать, docker must have. Ты со своим pyspark ,etl. говоришь компаниям у вас сложная система больших данных возьмите меня без опыта, если у них этот уровень работы с данными в чем для них проблема 400 заплатить и забрать человека с опытом. Не надо пытаться начать с больших данных, начинай с классического ml он очень востребован, и там шансов больше. И терпение 200 откликов пару собесов получил, уже хорошо.
