Data Engineer / Аналитический инженер

Команде аналитики требуется технический специалист, который возьмет на себя построение надежного data-конвейера, освободив аналитиков от сложной технической работы с сырыми данными и оптимизацией инфраструктуры. Ваши задачи: Коммуникация с данными: Быть связующим звеном с разработкой. Вести мониторинг и оповещение аналитиков об изменениях схем, форматов или логики данных в источниках (микросервисы, Kafka, БД источников). Построение витрин: Проектировать и реализовывать слои данных и витрины в MS SQL на основе сырых данных из различных источников (PostgreSQL, Kafka, API микросервисов и т.д.). Оптимизация SQL: Аудировать и переписывать тяжелые запросы аналитиков, настраивать индексы. Интеграция и ETL: Разрабатывать пайплайны загрузки данных из микросервисов и потоков Kafka в хранилище. Автоматизация (Python Cloud): Интегрировать Python-скрипты с MS SQL в инфраструктуре Яндекс Облака. Настраивать оркестрацию (например, через Yandex Data Proc / Airflow), добиваясь стабильной и бесперебойной работы скриптов. Ждем от вас: Обязательно: Глубокое знание MS SQL Server (написание сложных запросов, оконные функции, оптимизация планов выполнения, индексы). Уверенный Python (pandas, sqlalchemy, работа с API). Понимание устройства Kafka (консьюмеры, партиции) и микросервисной архитектуры. Будет плюсом: Опыт работы в Yandex Cloud ( Airflow, S3). Понимание подходов к построению DWH и моделированию данных. Мы предлагаем: Гибридный или удалённый формат работы. Официальное трудоустройство в аккредитованную ИТ-компанию Годовое премирование по результатам оценки деятельности. ДМС со стоматологией с первого месяца работы Корпоративная бонусная программа: скидки на спорт, персональные предложения от партнёров, корпоративная скидка в сети «Лента»