QA-инженер AI/LLM-систем

Компания «Ланит-Терком», входит в группу компаний «Ланит» и занимается разработкой программного обеспечения. В нашем фокусе сложные наукоёмкие и социально-значимые проекты.

Сейчас мы расширяем команду тестирования для нашего ключевого партнера — крупнейшего лидера горно-металлургической отрасли России. Вам предстоит работать в кросс-функциональной команде заказчика над развитием и эксплуатацией современных интеллектуальных систем и ИИ-агентов.

Задачи:

• Тестирование новых и доработанных версий ИИ-агентов;
• Проверка качества и релевантности ответов ИИ-агентов и LLM-моделей;
• Выявление логических ошибок, галлюцинаций, некорректных или нестабильных ответов систем;
• Анализ причин деградации качества работы моделей и фиксация отклонений;
• Постоянный мониторинг продуктовых показателей качества (метрик ответов);
• Формирование четких задач для команды разработки на исправление багов;
• Подготовка аналитических выводов и отчетов по результатам проверок качества.

Что мы ждем от вас:

• Практический опыт работы с ИИ-агентами или тестирования AI/LLM-приложений.

• Базовое понимание архитектуры и принципов работы AI/LLM-систем;
• Опыт работы в тестировании ПО не менее 3 лет;

• Опыт с SQL, JSON, REST API, Postman/Swagger, знакомство с брокерами сообщений, системами логирования Grafana/Prometheus и структурированными массивами данных;
• Опыт постановки задач и взаимодействия с техническими командами.

Будет плюсом:

• Опыт построения или использования метрик качества ответов LLM;
• Опыт работы с ITSM- или Help Desk системами;
• Опыт участия в крупных промышленных или корпоративных ИТ-проектах.

Условия:

• Достойная полностью белая заработная плата, официальное трудоустройство с первого дня, предоставляется техника для работы;
• График работы 5/2, гибкое начало дня;
• Гибкий формат: полностью удаленная работа из любой точки РФ или гибрид (для желающих доступен комфортабельный офис в Санкт-Петербурге);
• ДМС, компенсация спорта, онлайн-английский, корпоративное обучение и поддержка профильной сертификации.

Этапы отбора:

1. Интервью с HR-специалистом;
2. Техническое интервью с участием представителя заказчика.

Пожалуйста, указывайте в сопроводительном письме или резюме ваши зарплатные ожидания и удобный мессенджер для связи.