Data Engineer

Описание вакансии

Задачи, которые могут стать твоими:

• Поддержка и разработка в направлении развития нового хранилища данных на базе Hadoop
• Миграция процессов из реляционных баз данных в хранилище на базе Hadoop
• Разработка ETL/ELT процессов
• Автоматизация процессов построения моделей и витрин данных
• Оптимизация существующих процессов обработки и преобразования данных
• Интеграция с различными источниками данных
• Контроль качества данных — Мониторинг расчетов и загрузок
• Работа с online-потоками данных, построение online-витрин и отчетов

Для нас важно:

• SQL — продвинутый уровень
• Python — продвинутый уровень
• Опыт работы с реляционными СУБД и NoSQL
• Навыки в *nix системах
• Стэк Big Data (HDFS, Spark/PySpark, Hive, Drill, Impala, Presto, Airflow, NiFi) — будет плюсом
• Опыт потоковой обработки данных (Kafka, Spark Streaming, Flink)
• Опыт разработки API (Flask, Django, FastAPI)

Мы предлагаем:

• Полная удаленка (при желании можно работать из офиса БЦ Кунцево Плаза, м. Молодежная (кстати, наш офис получил премию «Трансформация года» в 2021г.)
• Расширенный пакет ДМС и страхование от несчастных случаев с первого месяца работы, льготное ДМС для близких родственников, страхование имущества и пр.
• Компенсация мобильной связи (корпоративная сим-карта) для тех, кому нужно всегда быть на связи
• Рост и развитие в компании: регулярная обратная связь каждому сотруднику, обучающие мероприятия и широкий доступ к материалам, в том числе ведущих образовательных платформ
• Скидки для сотрудников на недвижимость группы “Самолет”, индивидуальные условия по рассрочке