Senior Data Engineer

О компании: Playerok — это маркетплейс цифровых товаров и услуг. Мы соединяем покупателей и продавцов, берём на себя безопасность сделки и запускаем собственные продукты. Строим масштабный бизнес на быстрорастущем рынке, на стыке гейминга, финтеха и e-commerce. Сейчас мы ищем Senior Data Engineer и главной задачей будет-Развивать и поддерживать пайплайны загрузки данных из внешних API (рекламные площадки, YouTube, Telegram, Яндекс.Метрика, внутренний API маркетплейса, внутренние системы и др.) в ClickHouse. Строить слои данных (staging, DDS, витрины) и обеспечивать их стабильную работу. Что для нас важно: 1. Работа с HTTP API - Уверенное знание REST API, обработка GET/POST, заголовков, параметров - Опыт с пагинацией (cursor, offset, page token), rate limiting, retry с exponential backoff - Работа с аутентификацией: API keys, OAuth 2.0 (получение/обновление токенов) - Умение парсить JSON / XML, обрабатывать ошибки и логировать сбои - Будет плюсом: опыт с GraphQL, gRPC, WebSocket (для стримов) 2. ClickHouse (ключевой опыт) - Проектирование таблиц (MergeTree, ReplacingMergeTree, агрегирующие движки) - Понимание партиционирования, сортировочных ключей, индексов - Материализованные представления (Materialized Views) для агрегатов - Оптимизация запросов и распределённых таблиц (если кластер) - Написание сложных запросов с оконными функциями, массивами, вложенными структурами 3. ETL / ELT и оркестрация - Опыт с Airflow или аналогами (у нас — скорее всего Airflow) - Построение DAG’ов: вызов API → выгрузка → трансформация (dbt или чистая SQL/Python) → загрузка в ClickHouse - Инкрементальная загрузка (по времени, по ID), upsert, дедупликация - Работа с S3 / Minio (если нужен промежуточный слой) - Понимание принципов CDC (Change Data Capture) и опыт работы с Debezium 4. Языки и инструменты - Python — обязательно: requests, aiohttp (для высокой производительности), pandas/polars (для трансформаций), clickhouse-driver - SQL — свободно (в том числе специфика ClickHouse SQL) - dbt — обязательно: написание моделей, тесты, документация, инкрементальные модели - Git, CI/CD (GitHub Actions / GitLab CI) — чтобы тестировать пайплайны 5. Архитектура данных - Проектирование слоёв: сырой слой (staging), логический слой (DDS), витрины (DM) - Понимание медленно меняющихся измерений (SCD type 2) — может понадобиться - Документирование моделей данных (data dictionary, схема таблиц) 6. Kafka - Опыт работы с Apache Kafka: продюсеры/консьюмеры, топики, партиции, offset management, consumer groups - Интеграция Kafka с ClickHouse (Kafka Engine, Kafka Connect) и Airflow - Понимание гарантий доставки (at-least-once, exactly-once) и принципов потоковой обработки Что предлагаем: Удаленный формат сотрудничества. 350 000 руб — стартовая вилка, итоговая сумма обсуждается по опыту. Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота). Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде. Занятость 5/2 с 8-часовым рабочим днем. Команда профи — работаешь с инициативными и увлеченными коллегами. Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном. Откликайся на вакансию — это первый шаг к тому, чтобы стать частью команды, которая меняет правила игры. Ваш ход! 🎮