Мечтай о большем с Napoleon IT
Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим.
Мы - это более 200 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты.
Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов.
Реализовывая принцип LLM First, мы стараемся внедрять LLM-технологии во все внутренние процессы, чтобы освободить ресурс для смелых идей, уникальных проектов и амбициозных целей.
Наша цель — упростить доступ к передовым технологиям и позволить людям мечтать о большем, и для этого нам необходима твоя экспертиза.
Мы делаем упор не на классическое веб-тестирование, а на проверку «мозгов» продукта - больших языковых моделей (LLM). Сейчас мы находим в поиске Инженера по тестированию (AI/LLM) для работы на двух проектах :
Tayle — ИИ-сервис для presale-инженеров в сфере сетевого оборудования. Помогает быстро подбирать аналоги и замены для сложного оборудования. Ядро продукта — бэкенд-сервис с AI, который сейчас работает как Telegram-бот, параллельно разрабатывается админ-панель и интеграция в Битрикс. Проект в активной разработке.
Document AI — собственная технология интеллектуального анализа юридических и бизнес-документов. На базе этой технологии будут появляться новые клиентские проекты. Технология в активной разработке.
Чем предстоит заниматься:
- Проводить функциональное, регрессионное и исследовательское тестирование AI/LLM решений на вебе и мобильных платформах. Искать неочевидное там, где машина пытается мыслить.
- Анализировать ответы модели на релевантность, полноту и корректность. Отделять факты от «галлюцинаций».
- Пытаться взломать модель с помощью prompt injection и jailbreak, чтобы сделать её безопаснее.
- Проверять стабильность и воспроизводимость ответов, тестировать работу с длинным контекстом и удержание нити диалога.
- Тестировать API, через которое наши продукты общаются с LLM-провайдерами.
- Создавать тест-кейсы и чек-листы, документировать баги в трекере.
- Работать в связке с разработкой, продактом и ML-командой, чтобы делать продукты лучше на каждом этапе.
Что мы ждем от тебя :
- Опыт ручного тестирования веб-приложений от 2 лет;
- Понимание принципов работы LLM (промпты, токены, температура, контекстное окно);
- Опыт или сильный интерес к тестированию AI/ML-продуктов;
- Умение оценивать качество нечётких, вероятностных ответов;
- Знание техник тест-дизайна, видов и уровней тестирования;
- Опыт тестирования REST API (Postman, Swagger);
- Работа с баг-трекерами (Jira, YouTrack);
- Умение работать с DevTools, читать логи;
- Понимание клиент-серверной архитектуры.
Будет плюсом:
- Опыт тестирования мобильных приложений (iOS/Android);
- Опыт оценки качества ответов LLM (разметка, ранжирование, A/B-тесты промптов);
- Знакомство с prompt engineering;
- Понимание метрик AI-моделей (precision, recall, BLEU, human evaluation);
- Опыт тестирования RAG-систем;
- Базовый SQL;
- Навыки автоматизации (Selenium, Playwright) на уровне запуска тестов;
- Английский B1+ (чтение документации).
Что мы предлагаем:
- Оформление в аккредитованную IT-компанию;
- Гибкое начало рабочего дня, гибридный график в Мск, либо удаленный формат работы;
- Индивидуальный план развития для каждого сотрудника с возможностью освоения новых технологий;
- Насыщенная корпоративная жизнь: онлайн- и офлайн-квизы, выездные корпоративы, спортивные мероприятия, творческие тимбилдинги, тематические вечеринки и многое другое;
- Оплата участия в профильных онлайн-конференциях (HighLoad++, Podlodka, Mobius и др.);
- Компенсация расходов на покупку профессиональной литературы;
- Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.
