Аналитик ИИ продуктов

БЮРО 1440
Москва •Опубликовано 25 сентября 2026
Зарплата не указана
Полная занятость3–6 летАналитик
Зарплата не указана

Описание

Чем предстоит заниматься:

  • Разрабатывать методику оценки качества AI-решений: определять ключевые метрики (precision/recall, доля авто-решений, доля ложных срабатываний), устанавливать целевые пороги и согласовывать их с заказчиком и руководителем AI-продуктов.
  • Формировать бенчмарк-наборы данных, запускать регрессионное тестирование между версиями пайплайна и фиксировать показатели деградации.
  • Обеспечивать наличие и высокое качество эталонных датасетов, организовывать процесс разметки совместно со стейкхолдерами.
  • Развивать эталонные выборки через цикл активного обучения (active learning).
  • Анализировать типичные ошибки модели, готовить диагностические отчёты и передавать инсайты команде разработки для устранения проблем.
  • Переводить технические метрики в бизнес-эффекты, готовить данные и материалы для защиты направления и обоснования инвестиций.
  • Вместе с руководителем AI-продуктов формировать измеримые критерии готовности решения к внедрению в продакшен.

Мы ожидаем:

  • Коммерческий опыт в аналитике данных, ML-аналитике или data science от 3 лет.
  • Практический опыт определения и валидации метрик качества в задачах, где готовых метрик изначально не было.
  • Навыки самостоятельной работы с датасетами: сбор, очистка, разметка, анализ и подготовка данных.
  • Уверенное владение SQL и Python на рабочем уровне для повседневных аналитических задач.
  • Опыт построения бенчмарков и расчёта метрик качества и ранжирования.
  • Понимание архитектуры LLM и RAG-пайплайнов, умение выявлять факторы, влияющие на итоговое качество ответов.
  • Навыки презентации результатов и объяснения технических метрик нетехническим стейкхолдерам.
  • Будет плюсом: опыт решения задач информационного поиска, классификации, маппинга или матчинга данных.

Условия:

  • Возможность выбора формата работы (гибрид/удаленка);
Описание

Чем предстоит заниматься:

  • Разрабатывать методику оценки качества AI-решений: определять ключевые метрики (precision/recall, доля авто-решений, доля ложных срабатываний), устанавливать целевые пороги и согласовывать их с заказчиком и руководителем AI-продуктов.
  • Формировать бенчмарк-наборы данных, запускать регрессионное тестирование между версиями пайплайна и фиксировать показатели деградации.
  • Обеспечивать наличие и высокое качество эталонных датасетов, организовывать процесс разметки совместно со стейкхолдерами.
  • Развивать эталонные выборки через цикл активного обучения (active learning).
  • Анализировать типичные ошибки модели, готовить диагностические отчёты и передавать инсайты команде разработки для устранения проблем.
  • Переводить технические метрики в бизнес-эффекты, готовить данные и материалы для защиты направления и обоснования инвестиций.
  • Вместе с руководителем AI-продуктов формировать измеримые критерии готовности решения к внедрению в продакшен.

Мы ожидаем:

  • Коммерческий опыт в аналитике данных, ML-аналитике или data science от 3 лет.
  • Практический опыт определения и валидации метрик качества в задачах, где готовых метрик изначально не было.
  • Навыки самостоятельной работы с датасетами: сбор, очистка, разметка, анализ и подготовка данных.
  • Уверенное владение SQL и Python на рабочем уровне для повседневных аналитических задач.
  • Опыт построения бенчмарков и расчёта метрик качества и ранжирования.
  • Понимание архитектуры LLM и RAG-пайплайнов, умение выявлять факторы, влияющие на итоговое качество ответов.
  • Навыки презентации результатов и объяснения технических метрик нетехническим стейкхолдерам.
  • Будет плюсом: опыт решения задач информационного поиска, классификации, маппинга или матчинга данных.

Условия:

  • Возможность выбора формата работы (гибрид/удаленка);

Похожие вакансии

Маркетолог
Клиника Кошек и Собак
от 120000 руб.
Полная занятость
Менеджер по работе с курьерами (горячие лиды)
Авкарс
60000 – 100000 руб.
Полная занятость
Ассистент СММ-специалиста
Пластический хирург Москва Магомед Чупалов
от 30000 руб.
Полная занятость
Support / Операционный специалист / Ассистент проджект-менеджера
Nelsit
от 40000 руб.
Полная занятость
Менеджер по продажам в IT
АтласЭлитАИ
2170 – 9870
Полная занятость
Администратор со знанием разговорного английского (удаленно) в бухгалтерскую компанию FLHUB, Дубай
FLHUB
1000 – 2200 $
Полная занятость