Работа Data Engineer (Middle / Middle+)

Описание

Playerok — это маркетплейс цифровых товаров и услуг. Мы соединяем покупателей и продавцов, берём на себя безопасность сделки и запускаем собственные продукты. Строим масштабный бизнес на быстрорастущем рынке, на стыке гейминга, финтеха и e-commerce.

Мы ищем Data Engineer, который будет развивать нашу платформу данных: строить и поддерживать пайплайны загрузки данных в ClickHouse и PostgreSQL, развивать слои данных (staging, DDS, витрины) и обеспечивать их стабильную работу. Отдельное направление - настройка репликации данных из операционных баз в аналитическое хранилище через CDC (Debezium + Kafka).

Чем придется заниматься:

1. Разрабатывать и поддерживать ETL/ELT пайплайны в Airflow: загрузка данных из внутренних систем и внешних источников в ClickHouse и PostgreSQL.

2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация.

3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka).

4. Оптимизировать хранение и запросы в ClickHouse: схемы таблиц, партиционирование, ключи сортировки, материализованные представления.

5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов.

6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD).

Что мы ожидаем:

2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация.

3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka).

5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов.

6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD).

Будет плюсом:

1. Опыт интеграции Kafka с ClickHouse (Kafka Engine, Kafka Connect).

2. Опыт работы с Docker и Kubernetes.

3. Опыт работы с S3 / MinIO как промежуточным слоем.

4. Понимание методологий моделирования данных (Data Vault, dimensional modeling, SCD type 2).

5. Опыт настройки мониторинга и алертинга пайплайнов (например, в Slack / Telegram).

Что предлагаем

Удаленный формат сотрудничества.
200 000 руб — стартовая вилка, итоговая сумма обсуждается по опыту.
Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота).
Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде.
Занятость 5/2 с 8-часовым рабочим днем.
Команда профи— работаешь с инициативными и увлеченными коллегами.
Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном.

Откликайся на вакансию — это первый шаг к тому, чтобы стать частью команды, которая меняет правила игры. Ваш ход! 🎮

Описание

Чем придется заниматься:

2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация.

3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka).

5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов.

6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD).

Что мы ожидаем:

2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация.

3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka).

5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов.

6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD).

Будет плюсом:

1. Опыт интеграции Kafka с ClickHouse (Kafka Engine, Kafka Connect).

2. Опыт работы с Docker и Kubernetes.

3. Опыт работы с S3 / MinIO как промежуточным слоем.

4. Понимание методологий моделирования данных (Data Vault, dimensional modeling, SCD type 2).

5. Опыт настройки мониторинга и алертинга пайплайнов (например, в Slack / Telegram).

Что предлагаем

Удаленный формат сотрудничества.
200 000 руб — стартовая вилка, итоговая сумма обсуждается по опыту.
Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота).
Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде.
Занятость 5/2 с 8-часовым рабочим днем.
Команда профи— работаешь с инициативными и увлеченными коллегами.
Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном.

Описание

Похожие вакансии