Дата инженер/Data Engineer

Rossko - российская компания, основанная в 1997 году. Мы занимаемся производством и дистрибуцией автозапчастей. Мы работаем в России, Казахстане и уже сотрудничаем с Эмиратами. Наши объекты находятся в 114 городах, включая 4 крупных дистрибуционных центра и более 130 магазинов-складов. ИТ-направление – это сердце нашей компании, в котором более 200 специалистов. Мы развиваем и поддерживаем 37 ИТ-продуктов в сфере финансов, логистики, продаж, управление товарными запасами и поддержке станций техобслуживания. У нас 5 дата-центров, более 1000 виртуальных серверов и более 30 Tb оперативной памяти. Для наших ИТ-специалистов мы создали аккредитованное в Минцифры юрлицо "Блэклайт", чтобы наши сотрудники получали все льготы ИТ-компаний. Сейчас в поисках Дата Инженера в команду розничного направления. Вам предстоит: 1. Разработка и поддержка ETL-процессов - Проектирование, разработка и оптимизация пайплайнов для загрузки, трансформации и выгрузки данных - Поддержка существующих процессов, устранение сбоев и оптимизация времени обработки - Интеграция данных из внутренних и внешних источников (API, базы данных, сервисы) 2. Обеспечение качества и надёжности данных Настройка автоматических проверок качества данных (data quality checks) Контроль полноты и актуальности загружаемых данных Реагирование на инциденты, связанных с данными, и оперативное восстановление пайплайнов 3. Мониторинг и алертинг Настройка системы мониторинга (например, с использованием Airflow, Grafana, Metabase или аналогов) Конфигурация алертов при сбоях, задержках или отклонениях в данных Анализ логов и метрик для предупреждения сбоев 4. Подготовка и поддержка витрин данных Создание и обновление витрин данных для аналитиков и бизнес-подразделений Работа совместно с аналитиками над требованиями к витринам и источникам данных Оптимизация запросов и структур данных для ускорения аналитических выборок 5. Документация и взаимодействие с командой Документирование всех ключевых пайплайнов, витрин и интеграций Взаимодействие с разработчиками, аналитиками и бизнесом для согласования требований к данным Мы ожидаем от Вас знаний: Языки и технологии: Python (основы, ООП, работа с библиотеками для обработки данных, например pandas), SQL, особенности работы с ClickHouse ETL и DWH: принципы построения и архитектуры хранилищ данных, нормальные формы, особенности распределённой обработки данных Оркестрация: базовые принципы работы Apache Airflow, настройка пайплайнов через Python-операторы, понимание дефолтного сетапа Интеграции и API: как забирать данные через API, обработка ответов, базовое понимание работы с RabbitMQ Хранилища данных: текущее использование Elasticsearch (базовые знания, без глубокого погружения), понимание концепции хранения сырых данных в S3 ОС и инфраструктура: основы работы в Ubuntu / Linux, умения для локального тестирования и развертывания (ClickHouse, Elasticsearch, Airflow) Архитектура и производительность: понимание, как работают движки баз данных, особенности вставки и обработки данных Вас ждет: Комфорт: удаленный режим работы и гибкий график; полный онбординг за 3 месяца; работаем по Kanban, SDM поможет выстроить работу и быстро достичь результата. Забота: соблюдаем баланс жизни и работы, мы не следим за нашими сотрудниками по таймерам, для нас важна атмосфера доверия и результат заработная плата “белая”, трудоустраиваем с первого дня; скидки на продукцию компании; ДМС через полгода работы; предоставим технику для работы при необходимости. Развитие: оплачиваем профессиональное обучение, при желании и необходимости; ценим новые идеи, учитываем каждое мнение, ведь мы любим быть новаторами технологий; у нас нет бюрократической составляющей при выводе разработок в продакшн.