Data Engineer

DATA ENGINEER

Мы ищем Data Engineer в команду, который умеет создавать надёжные data-процессы, работать с большими объёмами данных и превращать бизнес-требования в качественные технические решения.

Что предстоит делать
• Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products.
• Проектировать решения для Data Lake / Data Warehouse.
• Работать с batch и real-time streaming данными.
• Разрабатывать системы мониторинга, alerting и performance metrics.
• Создавать автоматизированные workflow и CI/CD pipelines.
• Взаимодействовать с Product и другими командами: собирать требования, проектировать решения и готовить design documents.
• Поддерживать документацию, runbook'и и troubleshooting guides.
• Участвовать в Agile-процессах и обеспечивать своевременную реализацию задач.

Что важно знать
• Python, PySpark, Spark SQL / ANSI SQL — уверенный уровень.
• Apache Spark / Spark Streaming.
• Kafka / Kafka Streams и data ingestion.
• AWS, включая S3.
• Форматы данных: JSON, CSV, Parquet, PSV, Delta.
• Git, CI/CD, DevOps.
• Опыт построения Data Lake / Data Warehouse и масштабируемых data solutions.
Будет преимуществом
Databricks, MLflow, опыт mentoring / team guidance и работы с real-time data systems.

Личные качества
• Сильный English для коммуникации и технической документации.
• Умение объяснять и защищать технические решения.
• Системное мышление, ответственность и внимание к деталям.
• Умение работать самостоятельно и в команде.