Data Engineer [Middle]

deeplay — продуктовая ИТ-компания. Мы создаём системы и решения в сфере интеллектуальных игр. Мы ценим идейных людей, которых заряжают нестандартные задачи и профессиональные вызовы.Тех, кто любит экспериментировать, находить уникальные решения и всегда ориентируется на результат. Если тебе близок такой подход, будем рады видеть тебя среди наших тиммейтов! Сейчас нам нужен Data Engineer [Middle] , который будет вносить свой вклад в развитие продуктов компании, сможет поддерживать открытое общение и дружескую атмосферу. С нами ты можешь комфортно работать из любого уголка мира, потому что мы: Настроили процессы технического оснащения , чтобы можно было рассчитывать на нашу помощь в подготовке техники для работы, где бы ты ни находился. Выстроили систему взаимодействия — никаких бесконечных чатов в ТГ. Работаем через онлайн-сервис управления проектами и корпоративный мессенджер с настроенной картой каналов. Организовываем рабочие процессы с учётом часовых поясов, время для регулярных командных встреч подбирается максимально удобно для всех. Помогаем сохранять контекст и знакомиться с коллегами из других отделов — регулярно проводим общие информационные и развлекательные онлайн-мероприятия, а также командные встречи с выездами в российские города и за границу. Наш стек: СУБД PostgreSQL / ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes. Основные задачи: Поддержка текущего функционала продукта. Расширение и развитие функционала действующего продукта. Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез; Создание и поддержка новых дата-пайплайнов; Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов; Анализ, подготовка и обработка данных; Обеспечение качества данных. Предстоит поддерживать и развивать: Десктопное кроссплатформенное ПО (Java 17+, Swing); Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC); Отсутствие фрэймворка, используются собственные наработки; Организация взаимодействия с БД (Postgre SQL , ClickHouse) посредством jdbc, без подключения дополнительных библиотек; Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture; Покрытие кода тестами (Mockito, JUnit); Аналитические запросы и большие объёмы данных (~60 TB). Для реализации задач тебе потребуется: Опыт работы в аналогичной роли от 3 лет знание теории реляционных БД, понимание логической, физической моделей БД; опыт оптимизации сложных запросов; опыт поиска проблем в работающих под высокой нагрузкой системах. Опыт создания и поддержки ETL-процессов; Глубокий практический опыт разработки на Python (pandas, numpy); Опыт работы с Apache Airflow, самостоятельное создание DAG; Опыт работы с СУБД Clickhouse , написание средних/сложных и нетривиальных SQL -запросов; Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата; Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения. Основное: PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables, EXPLAIN ANALYZE, cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL , хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения Будет плюсом: Bash: скрипты для автоматизации рутинных операций Linux: command line (уверенный уровень), systemd, cron, bash scripting Понимание алертинг стратегии Опыт работы с ClickHouse Docker (базовое понимание) Ansible/Terraform: базовое понимание для автоматизации Python/Pandas для сложной аналитики Jupyter notebooks для исследовательского анализа pgBadger для детального анализа Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events Мы предлагаем: Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге; Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор. Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта. Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии. Доступность руководства компании и открытую внутреннюю политику. Обучение и развитие: Оценка компетенций и составление индивидуального плана для прокачки твоих скилов. Ежегодный перфоманс ревью с полезными рекомендациями от команды и возможностью увидеть свои достижения глазами тиммейтов. Частичная компенсация затрат на обучение. Изучение английского языка для всех желающих 2 раза в неделю. Доступ к корпоративной офлайн и онлайн-библиотеке. Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры. Корпоративная жизнь: Открыто делимся новостями о развитии компании: регулярно проводим интервью и внутренние бизнес-мероприятия с руководителями и экспертами deeplay. Работаем из любой точки мира, но всё равно не теряем связь с командой — помогают в этом командообразующие мероприятия: живое общение, новые локации и настоящие эмоции. Делаем ставку на реальные впечатления и командный дух. Поддерживаем актуальное внутреннее информирование: систематически публикуем дайджесты о стратегии, продуктах и технологиях компании. Развиваем тематические комьюнити: проводим командные и личные турниры, участвуем в квизах/мозгобойнях, спортивных челленджах. Оказываем спонсорскую помощь профильным факультетам, выступаем с технической экспертизой на внешних мероприятиях, создаём собственные образовательные проекты. P.S.: Хоть мы и постарались вместить в описание больше деталей, но нам все еще есть что рассказать. Будем рады познакомиться ;)