Работа Data Engineer

Описание

Обязанности:

разрабатывать и документировать пайплайны обработки данных на Apache Airflow (Python, ANSI SQL);
проектировать и реализовывать прототипы аналитических витрин на данных систем-источников;
участвовать в построении корпоративного хранилища данных: от слоя первичных данных до витрин для бизнес-аналитики;
организовывать процессы контроля качества данных (Data Quality): технические и бизнес-проверки, мониторинг и алертинг;
формировать и описывать data-контракты на получение данных из систем-источников.

Требования:

опыт самостоятельной разработки DAG в Apache Airflow, в том числе создание переиспользуемых фреймворков/библиотек для пайплайнов;
уверенное владение Python и основными библиотеками для обработки данных;
опыт написания производительных SQL-запросов (MS SQL Server и/или PostgreSQL);
опыт оптимизации SQL-запросов;
базовые навыки администрирования СУБД;
понимание принципов построения хранилищ данных (DWH);
опыт интеграции с внешними системами через REST API.
будет преимуществом: понимание архитектуры 1С, опыт работы с BI-инструментами (Power BI, Superset, Tableau, Metabase), с ClickHouse, с брокерами сообщений (Kafka и аналоги).

Условия:

трудоустройство в соответствии с ТК РФ в аккредитованную ИТ-компанию;
график работы: 5/2, с 9.00 до 18.00 Мск (удаленный формат или гибрид - по желанию);
необходимые ресурсы предоставляются;
ДМС после испытательного срока;;
возможности профессионального развития.

Описание

Обязанности:

разрабатывать и документировать пайплайны обработки данных на Apache Airflow (Python, ANSI SQL);
проектировать и реализовывать прототипы аналитических витрин на данных систем-источников;
участвовать в построении корпоративного хранилища данных: от слоя первичных данных до витрин для бизнес-аналитики;
организовывать процессы контроля качества данных (Data Quality): технические и бизнес-проверки, мониторинг и алертинг;
формировать и описывать data-контракты на получение данных из систем-источников.

Требования:

опыт самостоятельной разработки DAG в Apache Airflow, в том числе создание переиспользуемых фреймворков/библиотек для пайплайнов;
уверенное владение Python и основными библиотеками для обработки данных;
опыт написания производительных SQL-запросов (MS SQL Server и/или PostgreSQL);
опыт оптимизации SQL-запросов;
базовые навыки администрирования СУБД;
понимание принципов построения хранилищ данных (DWH);
опыт интеграции с внешними системами через REST API.
будет преимуществом: понимание архитектуры 1С, опыт работы с BI-инструментами (Power BI, Superset, Tableau, Metabase), с ClickHouse, с брокерами сообщений (Kafka и аналоги).

Условия:

трудоустройство в соответствии с ТК РФ в аккредитованную ИТ-компанию;
график работы: 5/2, с 9.00 до 18.00 Мск (удаленный формат или гибрид - по желанию);
необходимые ресурсы предоставляются;
ДМС после испытательного срока;;
возможности профессионального развития.