LLM Prompt, Middle specialist

Приветствуем, наш будущий коллега! Мы развиваем действующий бизнес и активно используем собственную AI-систему для поиска новых возможностей роста бизнеса, анализа Reddit-постов, комментариев. Наша система находит бизнес-идеи, оценивает их потенциал, убирает дубли и запускает несколько AI-моделей для обсуждения и принятия финального решения. В связи с новым пулом задач ищем в команду LLM Prompt Middle Обязанности: написание системных и пользовательских промптов для сложных задач; тестирование промптов, сравнение версий, работа с критериями качества; ручная проверка результатов модели, поиск галлюцинаций, ошибок классификации и ложноположительных результатов; проектирование стабильных структурированных выводов в виде json-схем; улучшение промптов на основе ошибок модели и качества выходных данных; работа с неструктурированным текстом — анализ постов, комментариев, длинных тредов, шума, сарказма и неполного контекста. Требования: опыт работы от 2 лет с LLM / AI-инструментами или AI-продуктами; опыт составления и тестирования сложных промптов; понимание того, как проверять качество ответов модели через тестовые примеры, критерии оценки и разбор ошибок; умение отличать хороший LLM-ответ от просто красиво написанного; английский на уровне, достаточном для анализа Reddit-постов и комментариев. аккуратность, внимательность к деталям и готовность руками разбирать спорные кейсы. Будет Вашим плюсом: ​​​ Опыт в AI QA, data annotation, search quality или product analytics. Базовое понимание Python / SQL. Опыт работы с LLM API. Опыт с judge-prompts, self-critique, multi-agent debate или похожими подходами. Опыт в стартапах, market research или продуктовой аналитике Условия: удаленная работа в распределенной команде; частичная регулярная занятость в рамках разовых задач; задачи регулярные, работа будет всегда; сдельная оплата труда - за выполненную работу.