Инженер данных (Data Engineer)

В связи с активным развитием компании в нашу команду мы ищем единомышленников, фанатов девелопмента.

На данный момент мы рассматриваем кандидатов на позицию Инженер данных (Data Engineer)

Задачи и функционал на этой позиции:

• Разработка, развитие и сопровождение корпоративного хранилища данных
• Проектирование и реализация ETL/ELT-процессов для загрузки и трансформации данных
• Разработка dbt-моделей, построение витрин данных и обеспечение качества данных
• Создание и сопровождение DAG'ов в Apache Airflow для автоматизации процессов обработки данных
• Разработка потоковых и пакетных интеграций с использованием Apache Flink
• Работа с аналитической MPP-системой StarRocks: разработка SQL-запросов, оптимизация производительности, проектирование структуры хранения данных
• Работа с объектным хранилищем MinIO: организация хранения и обработки данных
• Анализ требований заказчиков и интеграция новых источников данных (API, CDC)
• Мониторинг, сопровождение и устранение инцидентов в зоне ответственности
• Подготовка и актуализация технической документации
• Взаимодействие с аналитиками, разработчиками и смежными командами при реализации проектов

Ожидания от успешного кандидата:

• Опыт работы инженером данных или ETL-разработчиком от 3 лет

• Опыт разработки моделей данных в dbt
• Владение Python для разработки ETL-процессов и автоматизации
• Опыт работы с Apache Airflow
• Опыт работы с Linux, SSH, Bash
• Опыт работы с Git
• Опыт работы с одной или несколькими реляционными СУБД (PostgreSQL, MS SQL Server, Oracle, MySQL и др.)
• Хорошее знание SQL (JOIN, CTE, оконные функции, оптимизация запросов, анализ планов выполнения)
• Понимание принципов построения ETL/ELT-процессов
• Опыт работы с объектными хранилищами S3/MinIO
• Понимание принципов работы Apache Kafka

Будет преимуществом:

• Опыт работы со StarRocks или другими MPP СУБД (ClickHouse, Greenplum и др.)
• Опыт оптимизации производительности SQL-запросов и моделей данных
• Понимание архитектуры современных Data Lakehouse платформ
• Понимание потоковой обработки данных и опыт работы с Apache Flink
• Опыт работы с Docker
• Понимание принципов Data Vault, Data Warehouse.

Работа в GloraX - это:

• Работа в динамичной прогрессивной компании – лидере рынка
• Возможность создавать уникальные проекты в сфере жилой и коммерческой недвижимости
• График работы 5/2, гибкое начало рабочего дня
• Возможность гибридного или полностью удаленного режима работы
• Комфортный офис
• Конкурентный доход (оклад и премии)
• «Белая» компания, соблюдение ТК РФ
• ДМС, программа лояльности на приобретение проектов компании, корпоративная мобильная связь
• Сильная команда и доброжелательная рабочая атмосфера
• Современная корпоративная культура в стиле GloraХ.Life, прокачаем вместе сферы: здоровье, семья, спорт, саморазвитие