Работа Data Engineer

Описание

Korzinka — крупнейшая сеть супермаркетов Узбекистана с активно развивающимся цифровым блоком: SuperApp, программа лояльности, Payments и OMNI-канальные сервисы. Мы строим data-платформу на Microsoft Fabric и Databricks: Lakehouse-архитектура с Delta Lake, полным Medallion-стеком и CI/CD через Azure DevOps.
Ищем Data Engineer, который умеет проектировать дата-продукты от raw до consumption, оптимизировать Spark-джобы под production-нагрузки и строить надёжные интеграции между десятками источников данных ритейл-компании.

Чем предстоит заниматься

Разработка дата-продуктов и пайплайнов:
Проектировать дата-продукты полного цикла — от raw-слоя до consumption: витрины, семантические модели, API для downstream-сервисов; обеспечивать ownership, SLA, документирование и версионирование.
Разрабатывать ETL/ELT-пайплайны на Microsoft Fabric, Databricks и Azure Data Factory (Dataflow Gen2, Pipelines, Notebooks) с учётом надёжности, идемпотентности и наблюдаемости.
Создавать переиспользуемые инженерные фреймворки: шаблоны пайплайнов, библиотеки трансформаций, утилиты для Delta Lake.
Реализовывать интеграции между источниками и платформой: ERP (SAP), CRM, WMS, POS, мобильное приложение, программа лояльности — согласование data contracts, обработка схемных изменений, мониторинг целостности.
Оптимизация и архитектура:
Advanced-оптимизация Spark-джобов: партиционирование, broadcast join, кэширование, управление ресурсами кластера.
Оптимизация хранилища в Delta Lake и Fabric: Z-Order, V-Order, компакция, retention-политики, планы выполнения запросов.
Проектирование моделей данных: Medallion (bronze/silver/gold), Star Schema, Data Vault — выбор подхода под downstream-потребителей.
Работа с Lakehouse: транзакции Delta Lake, schema evolution, time travel, CDC.
CI/CD и качество данных:
Настройка CI/CD для data-пайплайнов через Azure DevOps: Pipelines, Repos (GitFlow), Artifacts.
Контроль качества данных: data contracts, автоматизированные проверки (Great Expectations, dbt tests или аналоги), алертинг на аномалии и нарушения SLA.
Работа с Azure Key Vault (секреты, ключи шифрования) и Microsoft Purview (каталогизация, lineage, классификация).
Взаимодействие:

С Data Analysts и Data Scientists — интеграция Lakehouse-форматов в downstream, совместное проектирование семантических моделей в Power BI / Fabric.
С backend- и интеграционными командами, бизнес-доменами — проектирование data contracts и согласование схем.

Участие в развитии data-платформы совместно с Head of Analytics: технический дизайн, оценка новых инструментов, архитектурные предложения.
Документирование решений в Confluence или корпоративном репозитории.

Что мы ждём

Опыт в data engineering от 3 лет.
Опыт с Microsoft Fabric или Databricks от 1 года.
Уверенный PySpark: трансформации, оптимизация джобов, DataFrame API, Spark SQL.
Уверенный SQL: оконные функции, CTE, оптимизация запросов, планы выполнения.
Глубокое понимание Lakehouse и Delta Lake: ACID, schema evolution, time travel, V-Order, Z-Order, компакция.
Azure Data Factory: пайплайны, linked services, triggers, мониторинг.
Azure Key Vault и Microsoft Purview.
CI/CD для data-пайплайнов: Azure DevOps Pipelines, GitFlow, автоматизированное тестирование.
Моделирование данных: Medallion, Star Schema.
Построение дата-продуктов: ownership, SLA, версионирование, data contracts.
Опыт интеграций между гетерогенными источниками.
Понимание ритейл-доменов: продажи, ассортимент, цепочка поставок, лояльность, маркетинг, e-commerce.
Английский на уровне чтения технической документации и коммуникации с вендорами.

Условия

Современный стек: Microsoft Fabric, Databricks, Delta Lake, Azure DevOps.
Гибкий режим работы, свобода от дресс-кода.
Performance-бонусы по результатам Review.
Таунхоллы, митапы, demo-дни, внутренние сообщества.
Партнёрские программы обучения: иностранные языки, Skillbox, Geekbrains, Yandex Practicum.
Карта Korzinka Plus с 10% кешбэком в сети.
Наставничество и программы материальной поддержки.
Referral-бонусы за рекомендации.

Описание

Разработка дата-продуктов и пайплайнов:
Проектировать дата-продукты полного цикла — от raw-слоя до consumption: витрины, семантические модели, API для downstream-сервисов; обеспечивать ownership, SLA, документирование и версионирование.
Разрабатывать ETL/ELT-пайплайны на Microsoft Fabric, Databricks и Azure Data Factory (Dataflow Gen2, Pipelines, Notebooks) с учётом надёжности, идемпотентности и наблюдаемости.
Создавать переиспользуемые инженерные фреймворки: шаблоны пайплайнов, библиотеки трансформаций, утилиты для Delta Lake.
Реализовывать интеграции между источниками и платформой: ERP (SAP), CRM, WMS, POS, мобильное приложение, программа лояльности — согласование data contracts, обработка схемных изменений, мониторинг целостности.
Оптимизация и архитектура:
Advanced-оптимизация Spark-джобов: партиционирование, broadcast join, кэширование, управление ресурсами кластера.
Оптимизация хранилища в Delta Lake и Fabric: Z-Order, V-Order, компакция, retention-политики, планы выполнения запросов.
Проектирование моделей данных: Medallion (bronze/silver/gold), Star Schema, Data Vault — выбор подхода под downstream-потребителей.
Работа с Lakehouse: транзакции Delta Lake, schema evolution, time travel, CDC.
CI/CD и качество данных:
Настройка CI/CD для data-пайплайнов через Azure DevOps: Pipelines, Repos (GitFlow), Artifacts.
Контроль качества данных: data contracts, автоматизированные проверки (Great Expectations, dbt tests или аналоги), алертинг на аномалии и нарушения SLA.
Работа с Azure Key Vault (секреты, ключи шифрования) и Microsoft Purview (каталогизация, lineage, классификация).
Взаимодействие:

С Data Analysts и Data Scientists — интеграция Lakehouse-форматов в downstream, совместное проектирование семантических моделей в Power BI / Fabric.
С backend- и интеграционными командами, бизнес-доменами — проектирование data contracts и согласование схем.

Участие в развитии data-платформы совместно с Head of Analytics: технический дизайн, оценка новых инструментов, архитектурные предложения.
Документирование решений в Confluence или корпоративном репозитории.

Что мы ждём

Опыт в data engineering от 3 лет.
Опыт с Microsoft Fabric или Databricks от 1 года.
Уверенный PySpark: трансформации, оптимизация джобов, DataFrame API, Spark SQL.
Уверенный SQL: оконные функции, CTE, оптимизация запросов, планы выполнения.
Глубокое понимание Lakehouse и Delta Lake: ACID, schema evolution, time travel, V-Order, Z-Order, компакция.
Azure Data Factory: пайплайны, linked services, triggers, мониторинг.
Azure Key Vault и Microsoft Purview.
CI/CD для data-пайплайнов: Azure DevOps Pipelines, GitFlow, автоматизированное тестирование.
Моделирование данных: Medallion, Star Schema.
Построение дата-продуктов: ownership, SLA, версионирование, data contracts.
Опыт интеграций между гетерогенными источниками.
Понимание ритейл-доменов: продажи, ассортимент, цепочка поставок, лояльность, маркетинг, e-commerce.
Английский на уровне чтения технической документации и коммуникации с вендорами.

Условия

Современный стек: Microsoft Fabric, Databricks, Delta Lake, Azure DevOps.
Гибкий режим работы, свобода от дресс-кода.
Performance-бонусы по результатам Review.
Таунхоллы, митапы, demo-дни, внутренние сообщества.
Партнёрские программы обучения: иностранные языки, Skillbox, Geekbrains, Yandex Practicum.
Карта Korzinka Plus с 10% кешбэком в сети.
Наставничество и программы материальной поддержки.
Referral-бонусы за рекомендации.

Описание

Похожие вакансии