Инженер по тестированию LLM-приложений

Привет! Давай знакомиться :)

Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим более пятнадцати лет и очень любим свое дело!
Всегда находимся в поиске эффективных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки.
Формат работы: удаленно (Москва, Московская область)

Чем предстоит заниматься:
— разрабатывать и поддерживать методологию тестирования LLM-приложений;
— тестировать качество ответов моделей, в том числе с использованием подхода LLM-as-a-Judge;
— проверять сценарии работы AI-агентов и выявлять ошибки в их поведении;
— разрабатывать, поддерживать и запускать автотесты;
— проводить функциональное, интеграционное и регрессионное тестирование веб- и API-сервисов;
— тестировать REST API и web-вызовы, анализировать HTTP-запросы и ответы;
— проводить нагрузочное и производительное тестирование;
— работать с TLS/SSL-сертификатами, цепочками доверия и защищённым взаимодействием сервисов.

Кого мы ищем:
— практический опыт тестирования LLM-приложений или AI-агентов;
— понимание подходов к оценке качества ответов LLM и опыт применения LLM-as-a-Judge будет большим преимуществом;
— опыт API-тестирования: REST, HTTP, анализ запросов и ответов;
— опыт разработки и поддержки автотестов;
— опыт функционального, интеграционного и регрессионного тестирования;
— понимание принципов нагрузочного и производительного тестирования;
— понимание TLS/SSL и принципов защищённого взаимодействия сервисов;
— язык программирования для автоматизации — любой.

Что мы предлагаем:
— Белая зарплата, трудоустройство по ТК РФ, 31 день оплачиваемого отпуска в год;
— ИПР – Индивидуальный план развития для каждого сотрудника;
— Добровольный ДМС (50% оплата от компании);
— Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование;
— Частичная компенсация пройденных курсов на различных платформах;
— Добровольная международная сертификация ISTQB с компенсацией от компании;
— Корпоративные занятия английским языком;
— Оборудование от компании;
— Реферальная программа "Приведи друга";
— Дружный коллектив, лояльное руководство :)

Ждем твоего отклика!