Data Engineer

О компании: Мы — МП Трейд, уже 5 лет занимаемся продажей товаров FMCG на маркетплейсах, будучи флагманским поставщиком у нескольких брендов. Мы не просто перепродаем товары на маркетплейсах, а строим системный бизнес на основе цифр, IT-алгоритмов и автоматизации. У нас небольшой коллектив и стабильный бизнес. Ищем ответственного и системно мыслящего Data Engineer, который будет аккуратно вести нашу базу данных и пополнять её данными из маркетплейсов. Важно также помогать нашим сотрудникам получать данные для бизнес-задач: например, лидеры / антилидеры продаж по месяцам / неделям и так далее. Структура базы уже разработана, понадобится качественно поддерживать её, плюс можно предлагать варианты оптимизации. Ваши задачи: Поддержка и развитие ELT-пайплайнов: загрузка данных из API маркетплейсов (Ozon, Wildberries) в ClickHouse; Разработка и поддержка SQL-трансформаций в dbt (модели, тесты, документация); Создание и актуализация дашбордов в Yandex DataLens по требованиям бизнеса; Подготовка датасетов для ML-моделей: выгрузка, предобработка, базовая валидация; Мониторинг работы пайплайнов, обработка инцидентов, логирование; Работа с Git: ветки, код-ревью, документирование изменений; Разработка и продакшн деплой веб-приложений для внутренних сервисов (python). Ждём, что у вас есть: Опыт работы с ClickHouse или другой columnar DB: написание сложных запросов, понимание движков таблиц, отличия: OLAP и OLTP, ETL и ELT; Опыт бэкапа базы данных (S3) и восстановления; Уверенное владение SQL (оконные функции, CTE, оптимизация); Опыт работы с dbt (модели, тесты, инкрементальные загрузки) — или готовность быстро освоить; Опыт интеграции с REST API (requests, обработка пагинации, лимитов, ошибок); Навыки Python для бэкэнд-скриптов приложений и ELT (pandas, JSON/CSV); Опыт работы с Git (ветки, мерджи, код-ревью); Понимание принципов работы дашбордов (DataLens / Superset); Опыт работы в Linux-среде, базовое администрирование (cron, systemd, логи); Опыт развертывания приложений в Docker, базовая настройка веб-сервера. Мы предлагаем: Удалённую работу на полный день; Важно быть на связи в рабочее время (с 10:00 до 18:00 по МСК); Рыночная зарплата: 230—260 тысяч рублей (готовы обсудить лично); Официальное оформление по ТК РФ, оплачиваемые отпуска и больничные; Лояльное и гибкое отношение к сотрудникам; Возможность роста и развития в зависимости от ваших интересов. У нас в компании принято прямое общение и быстрое принятие решений, нет жёстких корпоративных правил, есть свобода действий и ресурсы для реализации ваших идей по оптимизации. Если вы — увлечённый своим делом человек с аналитическим складом ума, будем рады сотрудничеству!