QA Engineer ИИ-решений

Специалист привлекается для поддержки AI-команды (RnD AI Team), реализующей портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.

Обязанности

1. Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
2. Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
3. Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
4. Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
5. Проверка соответствия результата согласованным требованиям и метрикам качества;
6. Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
7. Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
8. Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.

Требования

• От 3 лет в тестировании ПО.
• От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.
• Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
• Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.
• Тест-дизайн, тестовая документация, работа с баг-трекером;
• Тестирование REST API (Postman или аналоги), чтение JSON, логов;
• SQL на уровне выборок для проверки данных;
• Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
• Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ.

Будет преимуществом

• Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
• Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
• Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
• CI/CD, Git на базовом уровне.

Условия

• Проектная, долгосрочный проект (Фултайм).
• Удаленно по РФ.
• Локация: строго Москва, Саранск.
• Оформление: ГПХ, ИП.
• Вилка: до 1400р в час гросс.