Старший разработчик по работе с данными

«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее.

Нашему будущему коллеге предстоит работать над проектом: OMNI-дашборды - системой визуализации отчетности для покрытия потребности в аналитических инструментах для высшего и среднего менеджмента Компании. Работать над развитием Корпоративного Хранилища Данных (Hadoop), которое является основным источником данных для этого проекта.

Цель проекта – реализовать уникальную систему по работе с клиентскими данными ПАО "Детский мир" на основе используемых компонентов и стэка технологий и программного обеспечения компании. По итогам проекта в компании появится единый источник непротиворечивой и консистентной информации для принятия управленческих решений.

Мы ищем эксперта с высокой ролью ответственности на проекте, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.

Чем предстоит заниматься:

• Написание дагов в Airflow

• Проектирование, разработка и поддержка витрин данных

  • Обычно это Sql или DataFrame API

• Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами

  • sql подобные системы

  • а так же csv, xml, json, API

• Разработка правил и процедур контроля качества данных

• Поддержка переливки витрин в ClickHouse

• Создание Дашбордов в SuperSet

• Поддержка цепочки поставки витрин

Что ожидаем от вас:

• Создавать Spark ETL pipeline для загрузки данных в HDFS и преобразования данных на HDFS

• Обсуждать с аналитиками алгоритмы преобразования данных, переводить SQL от аналитиков в Spark API

• Участвовать в code review

• Проектировать и создавать архитектуру проекта и адаптировать ее под новые требования

• Понимать процессы CI/CD, мониторинга, взаимодействовать с командой DevOps

Будет плюсом:

• Опыт работы с Kubernetes, Helm

• Опыт работы с GitLab CI/CD

Наш стек:

• Hadoop 3 версии, размером 3 Петабайта

• Apache Spark и Apache Airflow

• ClickHouse

• SuperSet

• Docker, Kubernetes, VictoriaMetrics

• GitLab для CI/CD

Мы предлагаем:

• Официальное оформление в соответствии с ТК РФ;

• Срочный ТД (декретная ставка);

• Совокупный доход: оклад + годовой бонус;

• График работы: 5/2 (гибридный формат работы/ удаленный);

• Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;

• Техника для работы;

• Полис ДМС;

• Программа Best Benefits;

• Внутреннее обучение;

• Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.

Присоединяйтесь к нам и станьте частью истории бренда с историей!