Ведущий разработчик ETL (Big Data)

Команда развивает контур интеграции данных крупного банка. Команда занимается построением и развитием Единого Интеграционного Слоя и пользовательских витрин данных , обеспечивающих работу аналитических систем, прикладных сервисов и внутренних продуктов банка. Обязанности: Разрабатывать ETL-процессы и интеграционные потоки данных. Проектировать и создавать типовые модули ETL-приложений. Участвовать в проектировании архитектуры потоков данных. Разрабатывать и внедрять корпоративные стандарты разработки. Проводить код-ревью и контролировать качество решений. Подготавливать техническую документацию. Участвовать в тестировании и сопровождении ETL-решений. Помогать команде сопровождения в расследовании и устранении дефектов на продуктивном контуре. Взаимодействовать с архитекторами, аналитиками и смежными командами. Требования: Коммерческий опыт разработки в Big Data от 3 лет. Уверенное знание Python и SQL. Опыт работы с Apache Spark / PySpark. Опыт разработки и сопровождения ETL-процессов. Практический опыт работы с Apache Airflow. Опыт работы с Hadoop/HDFS. Опыт работы с S3 или S3-compatible хранилищами. Знание форматов Parquet и ORC. Опыт работы с Git и CI/CD инструментами. Опыт использования Jira и Confluence либо аналогичных систем. Понимание принципов системного анализа и тестирования. Базовое понимание работы Kafka. Практический опыт работы с архитектурой Data Vault. Навык написания технической документации. Будет преимуществом Опыт работы с Apache Kafka. Опыт работы с Apache Iceberg. Опыт работы в банковской сфере или крупных корпоративных проектах. Опыт наставничества и проведения код-ревью.