Data Engineer

Открыта вакансия у наших партнеров Data Engineer в крупнейшей компании FMCG. Опыт и стаж работы: Опыт на позиции Data Engineer от 1,5 лет Разработка и поддержка ETL-пайплайнов Оптимизация производительности запросов (партиционирование, индексы, кеширование) Участие в Data Governance Обязанности: Проектировать и собирать витрины данных по разработанному ТЗ Проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake Писать документацию - комментировать код Проводить кросс-ревью кода Работать с data-аналитиками для создания новых и оптимизации существующих витрин Требования: Понимание основных операций СУБД и принципов DWH Понимание принципов ETL Опыт работы с Hadoop технологиями (Spark, Hive и тд) Опыт работы с Azure/Yandex облачными платформами Опыт разработки и поддержки DAGs в Apache Airflow Уверенное владение SQL, Python, pySpark Будет плюсом: Опыт работы с базами данных PostgreSQL и ClickHouse Опыт работы с Trino Опыт работы с инструментами обеспечения качества данных (Great Expectations) Условия: аккредитованная it-компания удаленная работа с возможностью гибкого графика процесс обмена знаниями и рост в команде график работы 5/2 интересные и нетривиальные задачи дружный коллектив