YAKUBOVS SCHOOL

DATA ENGINEER Мы ищем Data Engineer в команду, который умеет создавать надёжные data-процессы, работать с большими объёмами данных и превращать бизнес-требования в качественные технические решения. Что предстоит делать • Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products. • Проектировать решения для Data Lake / Data Warehouse. • Работать с batch и real-time streaming данными. • Разрабатывать системы мониторинга, alerting и performance metrics. • Создавать автоматизированные workflow и CI/CD pipelines. • Взаимодействовать с Product и другими командами: собирать требования, проектировать решения и готовить design documents. • Поддерживать документацию, runbook'и и troubleshooting guides. • Участвовать в Agile-процессах и обеспечивать своевременную реализацию задач. Что важно знать • Python, PySpark, Spark SQL / ANSI SQL — уверенный уровень. • Apache Spark / Spark Streaming. • Kafka / Kafka Streams и data ingestion. • AWS, включая S3. • Форматы данных: JSON, CSV, Parquet, PSV, Delta. • Git, CI/CD, DevOps. • Опыт построения Data Lake / Data Warehouse и масштабируемых data solutions. Будет преимуществом Databricks, MLflow, опыт mentoring / team guidance и работы с real-time data systems. Личные качества • Сильный English для коммуникации и технической документации. • Умение объяснять и защищать технические решения. • Системное мышление, ответственность и внимание к деталям. • Умение работать самостоятельно и в команде.