Data Engineer

ЛИАН — системный интегратор с фокусом в аналитике и управлении данными. Мы работаем в трех направлениях: 1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО. 2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию. 3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы. В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink . Чем предстоит заниматься: Участие в замене SAP на кастомную реализацию с использованием Apache Flink Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink Поддержка потоковых пайплайнов на Java + Flink Интеграция с системами-источниками и приемниками данных через Kafka Участие в проектировании архитектуры нового решения Работа в команде с аналитиками и инженерами данных Наши пожелания к кандидатам: Apache Flink: Реальный коммерческий опыт работы с потоковой обработкой (streaming) и stateful processing. Kafka: Опыт работы с продьюсерами и консьюмерами. Kafka Streams (библиотека для потоковой обработки). DWH: Опыт работы с хранилищами данных. ClickHouse (любой опыт). Java: Уверенное знание многопоточности, коллекций, Stream API. SQL: Умение писать сложные запросы, понимание оконных функций, навыки оптимизации. Архитектура данных: Понимание принципов миграции с классических ETL/ELT на потоковую обработку. S3 хранилище (любой опыт) Data Lake: Знание форматов (Parquet/ORC) и концепций (снапшоты, инкременты) на примере Iceberg или аналогов. SAP (опыт работы с SAP как с источником данных). Spark (любой опыт). Визуализация и витрины: Опыт построения дашбордов/витрин с использованием Trino, SQL или dbt. Что мы предлагаем: Форма трудоустройства на ваш выбор: договору оказания услуг с ИП или самозанятым Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня Работа с передовыми технологиями Возможности профессионального и карьерного роста Полностью удаленная работа Регулярная и достойная оплата труда В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал. Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !