Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными. Мы работаем в трех направлениях: 1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО. 2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию. 3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы. Обязанности: Проектирование и разработка отказоустойчивых пайплайнов обработки данных (batch / near real-time) Разработка и поддержка ETL/ELT-процессов Оркестрация и автоматизация процессов обработки данных (Airflow) Работа с распределёнными системами хранения и обработки данных Оптимизация производительности запросов и пайплайнов Обеспечение качества, консистентности и доступности данных Участие в развитии архитектуры DWH (в том числе Data Vault) Взаимодействие с аналитиками, BI и backend-командами Требования: Уверенный опыт работы Data Engineer от 2–3 лет Глубокое понимание принципов построения ETL/ELT-процессов Опыт работы с Airflow (построение DAG, мониторинг, оптимизация) Опыт работы с MPP/SQL-движками: Trino / Greenplum Уверенное владение SQL и опыт оптимизации запросов Опыт разработки на Python Опыт работы с распределёнными вычислениями (Spark) Опыт работы с объектными хранилищами (S3) Опыт работы с аналитическими СУБД (ClickHouse) Опыт работы с Git Понимание подходов к моделированию данных (Data Vault / DWH) Условия: Удаленная работа, 5/2 Работа с современными и передовыми технологиями Широкие возможности для профессионального и карьерного роста Важно! Работа на зарубежном проекте. Готовы рассмотреть вашу релокацию в течение 2-х недель после предложения о работе.