Middle+ QA Engineer (AI/LLM Products)
15 сентября 2026 • г Санкт-Петербург • ПАО Сбербанк • Информационные технологии: Тестировщик
Откликнуться на вакансию
Фамилия
Имя
Email
Телефон
Прикрепить резюме (pdf, docx)
Я даю согласие на обработку персональных данных
Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.
Чем предстоит заниматься:
- функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
- разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей
- тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
- оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
- анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
- автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
- тестирование API-интеграций с LLM-провайдерами
- ведение тестовой документации, баг-репортов, участие в приёмке фич
- взаимодействие с разработчиками и ML-инженерами при разборе дефектов.
Что мы ожидаем:
- высшее образование
- опыт в тестировании от 3 лет (ручное + автоматизация)
- практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги
- понимание основ промпт-инжиниринга
- уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
- понимание специфики LLM
- python на базовом уровне для автотестирования
- умение писать чёткие баг-репорты и тест-кейсы.
Будет плюсом:
- продвинутая автоматизация UI
- опыт построения LLM-evaluation пайплайнов
- понимание RAG-архитектур
- опыт тестирования безопасности LLM.
Мы предлагаем:
- срочный трудовой договор до 01.07.2027
- офисный формат работы на период испытательного срока, далее возможен гибридный формат
- ежегодный пересмотр зарплаты
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета
- гибкий дисконт по ипотечному кредиту
- подписка СберПрайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
