Data Engineer

Обязанности:

• Разработка и поддержка ETL-пайплайнов на PySpark (обработка данных в Data Lake: Trino+Iceberg, HDFS);
• Проектирование и написание DAG в Apache Airflow;
• Загрузка сырых данных и слоя DDS в Iceberg;
• Построение финальных витрин данных в PostgreSQL (денормализация, агрегации);
• Написание и оптимизация сложных SQL-запросов (в т.ч. оконные функции, CTE);
• Поддержка контроля качества данных: реализация проверок и алертов в пайплайнах;
• Оптимизация производительности: батчинг, партиционирование Iceberg, настройка Spark;
• Взаимодействие с аналитиками BI для корректного построения источников данных под Qlik и Power BI;
• Мониторинг пайплайнов (SLA-контроль, логи, ретраи, обработка сбоев).

Требования:

• Стек технологий :
  Python, PySpark, Apache Airflow, Trino, Apache Iceberg, HDFS, PostgreSQL, Scrum
  Ключевые требования:
• Опыт коммерческой разработки на Python от 2 лет (именно для data-инженерии, не веб);
• Опыт работы с PySpark от 1 года (чтение/запись в Hive/Iceberg, трансформации, оптимизация);
• Опыт написания DAG в Apache Airflow ;
• Хорошее понимание Iceberg (схема эволюции, time travel, MERGE, партиционирование) в связке с Trino;
• Продвинутый SQL (оконные функции, CTE, объединения, подзапросы) на PostgreSQL-подобных диалектах;
• Опыт проектирования витрин в PostgreSQL (денормализация, агрегации, SCD Type 2);
• Понимание контроля качества данных;
• Опыт оптимизации ETL-пайплайнов (работа с большими объёмами, избегание дрейфа схемы, настройка Spark);
• Понимание работы распределённых систем (принципы MapReduce, shuffle, партиционирование);
• Готовность взаимодействовать с BI-разработчиками: понимание Qlik и Power BI.

• Официальное трудоустройство и стабильная заработная плата;
• Удаленный формат работы;
• Возможности профессионального и карьерного роста внутри банка;
• ДМС после испытательного срока.