Data Engineer

Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения

Чем предстоит заниматься

• Осуществлять миграцию сервисов платформы на новые версии библиотек Scala/Spark
• Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
• Анализировать производительность и масштабировать продукты под возрастающую нагрузку
• Участвовать в дизайне архитектуры и принятии технических решений
• Устранять аварии и обеспечивать SLA сервисов на необходимом уровне

Что для этого нужно

• Опыт разработки на Scala от 3 лет

• Опыт работы со Spark от 2 лет

• Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.)

• Понимание архитектуры и принципов работы Spark-приложений

Будет плюсом:

• Знания особенностей Spark разных версий
• Опыт проектирования или работы с современными MLOps платформами
• Опыт работы с базами данных Cassandra, Scylla etc.

*Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"