Data Engineer

АО «Агропромцифра» создано в 2023 году по директиве Правительства РФ для обеспечения информационной безопасности Минсельхоза РФ и подведомственных организаций. Компания является единым поставщиком Минсельхоза России по развитию ряда государственных информационных систем и осуществляет эксплуатацию ГИС.​​​​​​​ На данный момент у нас идёт активный рост задач по продуктам и развитию компании, поэтому мы расширяем наш штат и ищем единомышленников для создания новой и прочной структуры. Сейчас мы в поисках Data Engineer и будем рады вашей заинтересованности.​​​​​​​ Ключевое: требуется обеспечить стабильную загрузку, трансформацию и перепроверку данных для больших объёмов (сотни млн записей) с гарантией воспроизводимости расчётов. Обязанности: ​​​​​​​​​​​​​​Спроектировать и реализовать DAG-и загрузки данных в Python (Airflow / Prefect). Разработать ETL/ELT-процессы из операционных БД, API, файлов в аналитическое хранилище. Настроить инкрементальную загрузку и механизмы перезалива витрин при исправлении исходных данных. Организовать мониторинг и алертинг по пайплайнам. Обеспечить idempotency и повторяемость расчётов (для аудита). Тюнинг запросов и распределения данных (партиционирование, сортировка). Требования: ​​​​​​​​​​​​​​Опыт разработки ETL/ELT от 3 лет (Middle) / 5+ лет (Senior), причём именно самостоятельного кода, а не настройки out-of-box инструментов. Продвинутый Python (типизация, контекстные менеджеры, работа с pandas/polars, написание операторов Airflow). Глубокий SQL: умение переписать неоптимальный запрос, понимание блочного выполнения. Опыт с одной из систем оркестрации (Airflow обязательно по стеку, Dagster, Prefect — как плюс). Работа с версионированием схем данных (Liquibase, alembic или ручные миграции). Понимание семантики exactly-once / at-least-once, донастройка графа на Memgraph и DGL. Самостоятельность: сами формулируете подзадачи, выбираете решения, доводите до продакшена. Условия: ​​​​​​​​​​​​​​​​​​Конкурентная заработная плата; Работа в аккредитованной it-компании в команде профессионалов; Интересные и амбициозные задачи, где ваш опыт будет реально заметен; Оплата обучения и участия в профильных мероприятиях; Льготные цены на продукцию агропромышленного комплекса. В «Агропромцифре» ваши идеи превращаются в проекты государственного уровня. Давайте вместе выращивать цифровое будущее агропрома России!