QA-инженер AI/LLM-систем

Мы соединяем экспертизу лучших чтобы технологии работали там, где это действительно важно

Компания «Ланит-Терком», входит в группу компаний «Ланит» и занимается разработкой программного обеспечения. В нашем фокусе сложные наукоёмкие и социально-значимые проекты.

Сейчас мы расширяем команду тестирования для нашего ключевого партнера — крупнейшего лидера горно-металлургической отрасли России. Вам предстоит работать в кросс-функциональной команде заказчика над развитием и эксплуатацией современных интеллектуальных систем и ИИ-агентов.

Задачи:

• Тестирование новых и доработанных версий ИИ-агентов;
• Проверка качества и релевантности ответов ИИ-агентов и LLM-моделей;
• Выявление логических ошибок, галлюцинаций, некорректных или нестабильных ответов систем;
• Анализ причин деградации качества работы моделей и фиксация отклонений;
• Постоянный мониторинг продуктовых показателей качества (метрик ответов);
• Формирование четких задач для команды разработки на исправление багов;
• Подготовка аналитических выводов и отчетов по результатам проверок качества.

Что мы ждем от вас:

• Практический опыт работы с ИИ-агентами или тестирования AI/LLM-приложений.

• Базовое понимание архитектуры и принципов работы AI/LLM-систем;
• Опыт работы в тестировании ПО не менее 3 лет;

• Опыт с SQL, JSON, REST API, Postman/Swagger, знакомство с брокерами сообщений, системами логирования Grafana/Prometheus и структурированными массивами данных;
• Опыт постановки задач и взаимодействия с техническими командами.

Будет плюсом:

• Опыт построения или использования метрик качества ответов LLM;
• Опыт работы с ITSM- или Help Desk системами;
• Опыт участия в крупных промышленных или корпоративных ИТ-проектах.

Условия:

• Достойная полностью белая заработная плата, официальное трудоустройство с первого дня, предоставляется техника для работы;
• График работы 5/2, гибкое начало дня;
• Гибкий формат: полностью удаленная работа из любой точки РФ или гибрид (для желающих доступен комфортабельный офис в Санкт-Петербурге);
• ДМС, компенсация спорта, онлайн-английский, корпоративное обучение и поддержка профильной сертификации.

Этапы отбора:

1. Интервью с HR-специалистом;
2. Техническое интервью с участием представителя заказчика.

Пожалуйста, указывайте в сопроводительном письме или резюме ваши зарплатные ожидания и удобный мессенджер для связи.

Сообщества по интересам

Клуб Хабравторов, Клуб спикеров, Дебат-клуб, техническое сообщество, митапы с приглашёнными экспертами.

Корпоративный университет

Индивидуальная траектория обучения в удобное время на платформе MyAcademy.

Спорт

Регулярные тренировки по бегу, собственные команды по волейболу, футболу и баскетболу. Шахматный клуб и настольный теннис в офисе.

Забота о здоровье

ДМС со стоматологией
и страхованием родственников.

Киберспортивное сообщество

Поддерживаем киберспортивную команду и участвуем в популярных турнирах.

Комфортный
график

Гибридный график и гибкое
начало рабочего дня.

Мы гордимся нашими проектами

Построили новое здание Третьяковской галереи и оснастили его современными ИТ- и мультимедийными решениями

Создали единый диспетчерский центр для государственной информационной системы ЖКХ

Разработали суперсервис для оформления европротокола онлайн

Внедрили бесконтактную оплату в московском метро

Интегрировали сервис «Олимпиады» в МЭШ (Московская электронная школа)