Работа Data Engineer

Описание

Обязанности:

Разработка и поддержка единого хранилища мастер-данных (НСИ), обеспечение сквозной целостности справочников для всех отделов.
Проектирование модели данных для консолидации информации из ERP, CRM, 1С, логистических и кадровых систем.
Построение автоматизированных пайплайнов по сбору, очистке, трансформации и загрузке данных.
Настройка мониторинга ETL-процессов с использованием метаданных для оперативного отслеживания аномалий и ошибок (рекомендация по внедрению).
Внедрение правил дедупликации и валидации для поддержания высокого качества данных.
Самостоятельное проектирование и создание интерактивных дашбордов и отчетов в BI-инструментах
Визуализация ключевых метрик по направлениям: Логистика и закупки, Продажи, Производство, HR, Финансы, IT
Формирование чистых размеченных датасетов на основе исторических данных для построения прогнозных моделей.
Подготовка данных для оценки рисков, генерации рекомендаций и стратегий (в т.ч. с использованием ИИ на базе мастер-данных).
Обеспечение пайплайна для выгрузки результатов моделей в витрины и отчеты.
Настройка прав доступа к данным на уровне строк (RLS) согласно ролевой модели.
Оптимизация производительности запросов для обеспечения быстрой работы дашбордов и отчетов.
Резервирование и обеспечение бесперебойной работы хранилища данных.

Требования:

Глубокое знание SQL (PostgreSQL, ClickHouse, T-SQL): написание сложных запросов с CTE, оконными функциями, хранимыми процедурами.
Опыт оптимизации запросов: чтение планов выполнения, настройка индексов, работа с большими объемами данных (миллионы+ записей).
Проектирование витрин данных и моделирование хранилищ (DWH) под конкретные бизнес-задачи.
Разработка ETL/ELT-пайплайнов на Python (Pandas, SQLAlchemy, коннекторы к БД).
Опыт оркестрации процессов: Apache Airflow — проектирование DAG'ов, настройка расписаний, мониторинг выполнения.
Автоматизация обновления витрин и отчетов с контролем ошибок.
Разработка дашбордов в Power BI и/или Yandex DataLens (желательно знание обоих инструментов).
Понимание принципов построения эффективных визуализаций: выбор типов графиков, работа с фильтрами, управление производительностью отчетов.
Настройка алертинга (мессенджер, почта) при сбоях ETL и аномалиях в данных.
Работа с метаданными для отслеживания происхождения данных (Data Lineage) и контроля качества.
Опыт работы с MDM: понимание подходов к управлению нормативно-справочной информацией, дедупликация, валидация справочников.
Data Science / ML: базовое понимание машинного обучения, умение готовить датасеты для моделей (feature engineering), опыт взаимодействия с Data Scientist'ами
Системное мышление: видит картину целиком — от источника данных до конечного пользователя.
Проактивность: предлагает улучшения архитектуры и процессов, а не просто исполняет задачи.
Самоорганизация: готов работать в новом формирующемся отделе, где процессы еще выстраиваются.
Ориентация на результат: дашборды должны быть не "красивыми", а полезными и быстрыми.
Английский язык на уровне чтения технической документации

Условия:

Удаленный формат работы;
График работы 5\2 с 8:00 - 16:30; 9:00 - 17:30;
Возможность карьерного роста в современной,быстрорастущей компании.

Описание

Обязанности:

Разработка и поддержка единого хранилища мастер-данных (НСИ), обеспечение сквозной целостности справочников для всех отделов.
Проектирование модели данных для консолидации информации из ERP, CRM, 1С, логистических и кадровых систем.
Построение автоматизированных пайплайнов по сбору, очистке, трансформации и загрузке данных.
Настройка мониторинга ETL-процессов с использованием метаданных для оперативного отслеживания аномалий и ошибок (рекомендация по внедрению).
Внедрение правил дедупликации и валидации для поддержания высокого качества данных.
Самостоятельное проектирование и создание интерактивных дашбордов и отчетов в BI-инструментах
Визуализация ключевых метрик по направлениям: Логистика и закупки, Продажи, Производство, HR, Финансы, IT
Формирование чистых размеченных датасетов на основе исторических данных для построения прогнозных моделей.
Подготовка данных для оценки рисков, генерации рекомендаций и стратегий (в т.ч. с использованием ИИ на базе мастер-данных).
Обеспечение пайплайна для выгрузки результатов моделей в витрины и отчеты.
Настройка прав доступа к данным на уровне строк (RLS) согласно ролевой модели.
Оптимизация производительности запросов для обеспечения быстрой работы дашбордов и отчетов.
Резервирование и обеспечение бесперебойной работы хранилища данных.

Требования:

Глубокое знание SQL (PostgreSQL, ClickHouse, T-SQL): написание сложных запросов с CTE, оконными функциями, хранимыми процедурами.
Опыт оптимизации запросов: чтение планов выполнения, настройка индексов, работа с большими объемами данных (миллионы+ записей).
Проектирование витрин данных и моделирование хранилищ (DWH) под конкретные бизнес-задачи.
Разработка ETL/ELT-пайплайнов на Python (Pandas, SQLAlchemy, коннекторы к БД).
Опыт оркестрации процессов: Apache Airflow — проектирование DAG'ов, настройка расписаний, мониторинг выполнения.
Автоматизация обновления витрин и отчетов с контролем ошибок.
Разработка дашбордов в Power BI и/или Yandex DataLens (желательно знание обоих инструментов).
Понимание принципов построения эффективных визуализаций: выбор типов графиков, работа с фильтрами, управление производительностью отчетов.
Настройка алертинга (мессенджер, почта) при сбоях ETL и аномалиях в данных.
Работа с метаданными для отслеживания происхождения данных (Data Lineage) и контроля качества.
Опыт работы с MDM: понимание подходов к управлению нормативно-справочной информацией, дедупликация, валидация справочников.
Data Science / ML: базовое понимание машинного обучения, умение готовить датасеты для моделей (feature engineering), опыт взаимодействия с Data Scientist'ами
Системное мышление: видит картину целиком — от источника данных до конечного пользователя.
Проактивность: предлагает улучшения архитектуры и процессов, а не просто исполняет задачи.
Самоорганизация: готов работать в новом формирующемся отделе, где процессы еще выстраиваются.
Ориентация на результат: дашборды должны быть не "красивыми", а полезными и быстрыми.
Английский язык на уровне чтения технической документации

Условия:

Удаленный формат работы;
График работы 5\2 с 8:00 - 16:30; 9:00 - 17:30;
Возможность карьерного роста в современной,быстрорастущей компании.

Описание

Похожие вакансии