Старший инженер данных

Мы развиваем корпоративное хранилище данных, которое используется для аналитики, отчетности и принятия бизнес-решений по всему банку. Команда занимается подключением новых систем-источников к единому хранилищу данных, обеспечивая сбор, обработку и доставку данных для внутренних заказчиков. Важно: Мы ищем специалиста, который одинаково уверенно чувствует себя как в инженерной части работы с данными, так и в аналитической составляющей: способен разобраться в новой системе-источнике, проанализировать требования, спроектировать решение и довести его до промышленной эксплуатации. Чем предстоит заниматься: Подключать новые системы и источники данных к корпоративному хранилищу данных Анализировать структуру и особенности данных в системах-источниках Проектировать и разрабатывать интеграционные решения для загрузки и обработки данных Разрабатывать и сопровождать ETL/ELT-процессы Тестировать реализованные решения и участвовать в их внедрении в промышленную эксплуатацию Работать как с автоматизированными инструментами подключения источников данных, так и реализовывать нестандартные интеграции вручную Анализировать существующие решения и техническую документацию Подготавливать и актуализировать техническую документацию Предлагать улучшения архитектуры и процессов обработки данных, участвовать в их обсуждении и реализации Наши пожелания к кандидатам: Уверенное знание SQL и Python Понимание принципов построения хранилищ данных (DWH) Опыт разработки и сопровождения ETL/ELT-процессов Опыт работы с Apache Spark Опыт работы с объектными хранилищами данных (S3/MinIO) Знание форматов хранения данных Parquet и ORC Опыт работы с Apache Airflow Опыт работы с Kafka Опыт работы с Oracle и/или PostgreSQL Навыки системного анализа и подготовки технической документации Опыт работы с Git, CI/CD, Jira, Confluence или аналогичными инструментами Будет преимуществом Знание Scala или Java. Опыт работы с Apache Iceberg. Опыт работы с Apache Flink. Опыт работы с Greenplum, MongoDB, ElasticSearch. Понимание принципов работы REST API. Опыт работы с RabbitMQ, Tarantool. Опыт работы с XML и JSON. Что мы предлагаем: Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи Сложные и интересные задачи, современный стек технологий Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины