Аналитик-разработчик для оценки качества моделей в Alice AI

* От 3 лет

* Удалённая работа

* Офис

* Гибридный

Какие задачи вас ждут

• Прокачка моделей
  Вам предстоит прокачивать наборы запросов через внутренние инструменты для оценки внутренних и внешних моделей.
• Поддержка инструментов оценки
  Вы будете настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять то, что мешает работе. Также нужно будет развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли легко делать то же самое.
• Исследование новых моделей и данных
  Вам нужно будет изучать особенности поведения новых моделей, разбирать непривычные данные и форматы логов. Здесь задачи меняются: вчера проблема была в данных Alice AI, сегодня — в странном формате ответа новой модели, завтра — в инструменте оценки. Предстоит быстро погружаться в малознакомую систему и находить причину проблемы.
• Помощь с улучшением процесса оценки
  Замечать повторяющиеся ошибки, оформлять понятные баг-репорты и предлагать улучшения инструментов и процесса оценки — это также будет входить в ваши задачи.

Мы ждём, что вы

• Готовы оперативно разбираться в большом количестве незнакомых инструментов, данных, логов
• Можете самостоятельно запускать и поддерживать технические процессы
• Умеете ясно описывать проблему, воспроизводить её и объяснять её суть коллегам

Будет плюсом, если вы

• Работали с инструментами оценки моделей или качеством ответов AI-систем, слышали про v1/chat/completions, LLM-as-a-Judge
• Автоматизировали процессы и поддерживали внутренние инструменты для работы с данными

Бенефиты работы в Яндексе

Здоровье, Рост и развитие, Спорт. Расширенная медицинская страховка начинает работать с первого месяца в Яндексе.

Базовые услуги

Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.

Ментальное здоровье

Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.

Ежегодные чекапы

Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.

Больничный

30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.

Стоматология

Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.

Коррекция зрения

После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.

Терапевты в офисах

Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.

Ведение беременности и роды

Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.

Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.

Все интересные вам вакансии в одном профиле

Войти и откликнуться