Какие шаги необходимо предпринять, чтобы устроиться на должность Data Engineer?

Question

Генрих

хранение-данных , карьера , базы-данных

Какие шаги необходимо предпринять, чтобы устроиться на должность Data Engineer?

У меня есть несколько вопросов на тему поиска работы в сфере дата инжиниринга. Ситуация такова: я QA с трехлетним опытом, преимущественно в мануальном тестировании, но обладаю хорошими навыками в Python, Docker и других технологиях. Я решил не уходить в автоматизацию, так как заинтересовался областью данных и начал изучать Pyspark в сочетании с Airflow. Опыт работы с обработкой данных из открытых источников у меня уже есть, и сейчас я продолжаю накапливать знания, параллельно откликаясь на вакансии.

Тем не менее, я столкнулся с серьезными трудностями при поиске работы. На 50 откликов не получил ни одного ответа от работодателей, касающегося хотя бы первоначального скрининга с HR. Судя по полученным ответам, проблема в отсутствии релевантного рабочего опыта. Я попытался найти стажировки и курсы, но обнаружил, что даже на бесплатных обучающих курсах требуется минимум год релевантного опыта!

В связи с этим у меня есть два вопроса:

1. Как и где можно получить опыт работы в дата инжиниринге?
2. Какие навыки и знания нужны, чтобы джуниор или стажер мог получить оффер?

Я осознаю, что такая ситуация может касаться многих направлений в IT, но особенно интересно услышать мнения тех, кто работает в сфере больших данных.

24 февраля 2025 г. 14:04

Ответы на вопрос 2

Похожие вопросы

Answer 1

Ваш переход в сферу Data Engineering действительно может быть сложным, но с Вашим фоном и навыками у Вас есть все шансы на успех. Давайте разберем ваши вопросы по порядку.

### 1. Как и где можно получить опыт работы в дата инжиниринге?

#### Проекты:
- **Личные проекты**: Создайте и документируйте небольшие проекты, которые могут продемонстрировать ваши навыки. Например, соберите данные из открытых источников (например, API или веб-скрейпинг), обработайте их с помощью PySpark и обеспечьте их загрузку в хранилище данных (например, в PostgreSQL, Hive и т.д.).
- **Open Source**: Участвуйте в проектах с открытым исходным кодом или в исследованиях, связанных с обработкой данных. Вы можете найти такие проекты на платформах вроде GitHub.

#### Стажировки и волонтерство:
- **Стажировки**: Хотя многие компании требуют опыт, все же есть организации, которые предлагают стажировки. Обратите внимание на стартапы и небольшие компании, так как они могут быть более гибкими в требованиях.
- **Волонтерская работа**: Обратитесь к некоммерческим организациям или местным проектам, где вы могли бы помочь с обработкой данных.

#### Курсы и сертификации:
- Запишитесь на курсы, которые предлагают практическое применение знаний. Платформы, такие как Coursera, Udacity и edX, предлагают программы, ориентированные на Data Engineering.

#### Нетворкинг:
- Присоединяйтесь к тематическим сообществам в LinkedIn, Facebook и других платформах. Участие в meetups и конференциях может помочь вам наладить полезные знакомства, которые могут привести к вакансиям.

### 2. Какие навыки и знания нужны, чтобы джуниор или стажер мог получить оффер?

#### Технические навыки:
- **Языки программирования**: Python (у вас уже есть знание), SQL. Дополнительные языки, такие как Java или Scala, могут быть полезны.
- **Технологии обработки данных**: Знание и опыт работы с Apache Spark, Hadoop, Airflow. Знание ETL (Extract, Transform, Load) процессов.
- **Базы данных**: Реляционные (PostgreSQL, MySQL) и NoSQL (MongoDB, Cassandra) базы данных.
- **Облачные технологии**: Опыт работы с облачными решениями (AWS, Google Cloud, Azure) очень ценится, особенно если вы знакомы с инструментами для обработки данных в облаке.

#### Мягкие навыки:
- **Командная работа**: Умение работать в команде и коммуникабельность.
- **Аналитическое мышление**: Способность анализировать данные и принимать решения на основе полученных результатов.

#### Понимание бизнес-требований:
- Знание основ бизнеса и умений преобразовывать бизнес-требования в технические задачи поможет вам выделиться среди других кандидатов.

### Дополнительные рекомендации:
- **Адаптация резюме**: Обновите свое резюме, чтобы выделить релевантные навыки и опыт, даже если они не связаны напрямую с Data Engineering. Укажите проекты и курсы.
- **Сопроводительные письма**: Включайте сопроводительные письма, которые дают представление о вашей мотивации и стремлении развиваться в этой области.

Ваши текущие навыки и стремление к обучению - это хорошие предпосылки для перехода. Постарайтесь активно развивать вашу сеть контактов и продолжайте накапливать практический опыт, и вскоре вы сможете найти подходящую вакансию. Удачи!

Answer 2

Откликайся на все что связанно с данными, не нужно пытаться зайти именно в data engineer. В большинстве компаний которые работают с данными нет такой позиции.