Data Engineer

Ищем опытного Data Engineer, который возьмёт на себя роль в проектировании, развитии и оптимизации нашей аналитической платформы. Вы будете не просто писать ETL — вы будете формировать архитектуру хранилища данных, внедрять лучшие инженерные практики и помогать команде строить надёжную, масштабируемую и понятную data-инфраструктуру. Ключевые обязанности: - Архитектура и развитие DWH: - Проектирование и эволюция современного хранилища данных (Data Warehouse / Data Mart) с учётом требований бизнеса, аналитики и машинного обучения. - Выбор стратегии моделирования (например, Kimball, Data Vault, или modern approaches типа medallion architecture). - Обеспечение масштабируемости, производительности и управляемости DWH. - Лидерство в использовании dbt: - Полный цикл внедрения и сопровождения dbt— от инициации проекта до продакшена. - Формирование стандартов разработки моделей, документации, тестирования и версионирования. - Интеграция dbt в CI/CD, настройка мониторинга и алертинга. - Наставничество коллег по best practices в dbt и data modeling. - Оркестрация данных через Apache Airflow: - Проектирование и поддержка сложных DAG-ов для оркестрации ETL/ELT-процессов. - Оптимизация производительности, управление зависимостями, восстановление после сбоев. - Внедрение практик наблюдаемости (observability) и управляемости пайплайнов. - Разработка и оптимизация ETL/ELT-процессов: - Создание надёжных, идемпотентных и масштабируемых решений на основе бизнес-требований. - Интеграция разнородных источников (API, базы данных, файлы, потоковые системы). - Разработка и поддержка сложных SQL-запросов с глубокой оптимизацией (CTE, оконные функции, партиционирование, индексы и пр.). - Опыт работы с PostgreSQL - Практический опыт развёртывания, настройки и масштабирования Apache Kafka. - Базовое понимание Spark Streaming или аналогов для обработки потоковых данных. - Опыт проектирования data-решений в облаке (Yandex.Cloud, AWS, GCP или Azure) Требования : - 5+ лет опыта в разработке и поддержке data-инфраструктур. - Подтверждённый опыт построения enterprise-grade DWH с нуля или масштабирования существующих решений. - Экспертное владение dbt, SQL, Python. - Опыт работы с Airflow в production-среде на уровне архитектора или техлида направления. - Способность принимать архитектурные решения, аргументировать их и доносить до команды. - Готовность участвовать в формировании data-культуры: документирование, обучение, внедрение стандартов. Условия: - Полностью удалённая работа. - Дружная, зрелая команда инженеров и аналитиков, ценящих качество и простоту решений. - Возможности профессионального и карьерного роста: участие в стратегических инициативах, влияние на архитектуру продукта, потенциал развития в технического лида или архитектора. - Прозрачные процессы, минимум бюрократии, фокус на результатах. Если вы — инженер, который мыслит системно, любит чистые данные и надёжные архитектуры, и готов делиться экспертизой — давайте знакомиться!