AI Test Architect/AI Test Manager

Требуемая квалификация

· Более 15 лет опыта работы в области общего контроля качества (QA), включая техническое руководство.

· Текущий или недавний опыт работы в качестве менеджера SDET с практическим внедрением решений для тестирования на основе искусственного интеллекта.

· Минимум 2 года опыта в разработке решений для тестирования на базе искусственного интеллекта, включая приложения с генеративным ИИ.

· Подтвержденный опыт проектирования, создания и предоставления собственных инструментов ИИ или платформ на базе искусственного интеллекта, которые поддерживают корпоративные организации, занимающиеся тестированием программного обеспечения.

· Большой опыт работы с системами автоматизации тестирования на предприятии и передовыми практиками в области разработки качества.

· Желательно иметь опыт работы с гибкими методологиями и инструментами корпоративной разработки, такими как Azure DevOps и Confluence.

· Степень бакалавра в области компьютерных наук, инженерии или смежных технических дисциплин.

Основные обязанности

· Определять и внедрять корпоративные стратегии тестирования ИИ для платформ автоматизации тестирования и генерирующих систем ИИ.

· Разрабатывать собственные инструменты искусственного интеллекта, которые повышают производительность, автоматизацию и качество тестирования программного обеспечения.

· Разрабатывать основы для проверки моделей искусственного интеллекта, включая точность, надежность, обнаружение ошибок, объяснимость и мониторинг отклонений модели.

· Создание автоматизированных конвейеров тестирования данных, моделей машинного обучения и сервисов искусственного интеллекта.

· Определение и внедрение принципов управления тестированием искусственного интеллекта, стандартов и передовых практик в инженерных командах.

· Тестирование производительности, масштабируемости, надежности и отказоустойчивости платформ и приложений искусственного интеллекта.

· Разработать стратегии тестирования для больших языковых моделей (LLM), систем обработки естественного языка (NLP) и решений для компьютерного зрения, где это применимо.

· Обеспечить соответствие систем искусственного интеллекта принципам ответственного использования искусственного интеллекта, включая справедливость, прозрачность, безопасность и нормативные требования.

· Оценивайте, рекомендуйте и интегрируйте инструменты тестирования ИИ, решения для мониторинга моделей и платформы для создания синтетических данных.

· Обучайте команды инженеров методам проектирования качества ИИ и содействуйте внедрению разработанных внутри компании возможностей ИИ.

· Сотрудничайте с командами инженеров, архитекторов, разработчиков продуктов и специалистов по анализу данных для создания масштабируемых решений для тестирования ИИ.

Ключевые навыки

· Тестирование и валидация ИИ/ML

· Архитектура и автоматизация тестирования ИИ

· Генеративный ИИ и большие языковые модели (LLM)

· Проектирование и разработка инструментов ИИ

· Проверка качества данных

· Тестирование производительности, масштабируемости и надежности

· Ответственный ИИ, управление и риск-менеджмент

· Интеграция CI/CD и DevOps

· Межфункциональное лидерство и взаимодействие с заинтересованными сторонами

Показатели успеха

· Сокращение производственных дефектов и инцидентов при тестировании, связанных с ИИ.

· Расширенный охват автоматизации за счет тестовых решений с поддержкой ИИ.

· Успешное внедрение разработанных собственными силами инструментов тестирования с использованием ИИ в инженерных командах.

· Повышение качества, масштабируемости и надежности приложений с поддержкой ИИ.

· Соответствие стандартам ответственного использования ИИ и корпоративного качества.