SaaSoft

Требуется ETL-разработчик на проект. Отрасль: госсектор Дата старта проекта: в ближайшее время Продолжительность проекта: от 3-4 месяцев (возможно продление) Задача: Проект — миграция аналитического блока федеральной системы на отечественную СУБД (импортозамещение, Arenadata Postgres/ADB6). Нужно перенести действующие ETL-процессов (часть на Pentaho DI, часть уже на Airflow) со связки MSSQL / Vertica / PostgreSQL на целевой стек, сохранив трёхслойную архитектуру данных, без потери данных и функциональности. Реализовать тест-кейсы проверки качества данных и метрики для мониторинга пайплайнов. Обязательные требования (Must Have): • Готовность работать в команде заказчика, следовать внутренним процессам и методологиям • Опыт коммерческой разработки и сопровождения ETL/ELT-процессов от 3 лет Продвинутый SQL: • Написание и оптимизация сложных запросов (оконные функции, CTE, материализованные представления) • Опыт работы с большими объёмами данных (partitioning, indexing, query plan analysis) • Опыт работы с СУБД: PostgreSQL, MS SQL Server, Vertica • Практический опыт с инструментами оркестрации и ETL/ELT (обязательно, целевой стек): • Apache Airflow — не менее года практического опыта • Программирование на Python (Pandas, Psycopg2, Airflow SDK) • Pentaho Data Integration (Kettle) — опыт чтения/переноса существующих трансформаций (.ktr/.kjb) на Python/Airflow • Опыт работы с Arenadata (ADPG и/или ADB6) либо другой отечественной СУБД из реестра (Postgres Pro, Jatoba и т.п.) — обязательно, целевая платформа проекта • Обеспечение качества данных (Data Quality): • Реализация валидации данных при загрузке (полнота, консистентность, соответствие формату) • Сквозное логирование пайплайнов с детализацией по шагам, объёмам и ошибкам • Механизмы error handling, retry logic, уведомлений • Опыт миграции между СУБД / трёхслойных схем данных (staging/DDS/витрины) • Понимание инкрементальных загрузок (delta, CDC), идемпотентности пайплайнов, обработки SCD • Готовность работать в команде заказчика, следовать внутренним процессам и методологиям • Навыки коммуникации и работы в распределённых командах Желательные требования: Опыт проектов по импортозамещению СУБД в госсекторе Знание принципов Data Vault 2.0 / Kimball (dimensional modeling) Навыки настройки мониторинга пайплайнов (Grafana/Prometheus, алертинг) Опыт работы с большими объёмами данных в высоконагруженных системах (300 000+ пользователей, десятки млн записей/день)