Разработчик / Дата-инженер (Data Engineer)

Мы — команда разработки Big Data. Наше хранилище данных — это 4 петабайта информации из 40+ различных систем (биллинг, трафик клиентов, финансовые данные и т.д.). В команде 3 уровня: DevOps — настраивают инфраструктуру Дата-инженеры (вы) — строите и сопровождаете ETL/ELT-пайплайны Аналитики данных — знают данные, контролируют качество и ставят вам детальные задачи Вы будете работать в связке с аналитиком, который подготовит четкую постановку: какую таблицу взять, откуда, как трансформировать. Ваша задача — реализовать это технически. Чем предстоит заниматься Разработка, сопровождение и доработка ETL/ELT-процессов Трансформация и загрузка сырых данных в хранилище Оптимизация сложных SQL-запросов Работа с большими таблицами (до петабайта) Взаимодействие с аналитиками (получаете детальную постановку) и DevOps (при необходимости — помощь с инфраструктурой) Мы ждем, что вы Опыт: от 2 лет (желательно стабильная работа на одном месте от года) Hard skills (обязательно): Python (разработка ETL, автоматизация) Scala (много ETL-механизмов написано именно на ней) SQL (оптимизация сложных запросов) ClickHouse и Hive Стек Big Data: Hadoop, Spark, Kafka Оркестраторы: Airflow или Jenkins Будет сильным плюсом: Опыт с другими СУБД (Postgres, MySQL) Soft skills : Умение работать по детальной технической постановке Структурировать и систематизировать информацию Анализировать качество и производительность обработки данных Условия работы Оформление: штат, полный день Испытательный срок: 3 месяца (проверка на реальных задачах) Зарплата: обсуждается индивидуально (рыночный уровень для инженера с 2+ лет опыта) Оборудование: рабочее место с мебелью и техникой Медосмотр: не требуется Авто: не требуется Процесс отбора Собеседование с руководителем направления (техническое) Собеседование с директором по IT (организационное) Тестовых заданий нет — только собеседования и испытательный срок. Важные требования Высшее образование (обязательно) Готовность работать в Mattermost (Макс) — основной корпоративный мессенджер Английский язык: Pre-Intermediate (чтение документации) Стабильный карьерный трек (не «прыгун» по компаниям каждые 3-6 месяцев) Почему стоит к нам присоединиться Работа с индустриальным стеком Big Data (Hadoop, Spark, Kafka, ClickHouse) Четкое разделение ролей — вы занимаетесь инженерией, а не «всем подряд» Нет тестовых заданий — только живое общение Крупный дата-проект в структуре известного телеком-холдинга