Аналитик-разработчик агентской Alice AI LLM

Технологии и команда экспертов мирового уровня

Каждый день сотни IT-команд Яндекса решают сложные, уникальные и интересные технологические задачи. У нас можно работать в разных командах с разной продуктовой культурой и атмосферой: в больших хайлоад-сервисах и небольших внутренних стартапах. Все специалисты влияют на развитие продукта, помогают встраивать и развивать топовые технологии в сервисах, которые делают жизнь миллионов людей лучше.

• Сильная команда, с которой можно расти и самому стать экспертом мирового уровня
• Возможность поработать с разными командами над разными задачами и продуктами
• Участие в разработке технологий, которые влияют на мировую IT-индустрию
• Культура инноваций и создание по‑настоящему уникальных продуктов и сервисов

О вакансии

Наша команда развивает Alice AI LLM — технологию, которая лежит в основе разных продуктов Яндекса. Главный из этих продуктов — чат с Алисой.

Мы фокусируемся на вычислительных сценариях: задачах, где модель должна писать код, рассуждать и пользоваться техническими инструментами — интерпретатором, поиском и другими.

Наша цель — научить Алису решать сложные технические запросы пользователей и грамотно подключать нужные инструменты в нужный момент.

Почему у нас классно:

• Alice AI — быстрорастущий проект, у нас можно проявить себя, поработать с опытными ML-специалистами.
• Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах.
• Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое.
• Мы учимся решать задачи, которые пока никто не умеет решать. Оценка агентских способностей моделей сейчас активно развивается во всём мире, и здесь много пространства для собственных идей.
• Данные, которые вы собираете, и бенчмарки, которые вы строите, напрямую влияют на качество модели: по ним команда разработки принимает решения, а лучшие срезы данных уходят в обучение.
• Наша работа напрямую влияет на то, как современные ML-технологии становятся доступными широкому кругу пользователей.
• Нам помогает команда экспертных AI-тренеров, специализирующихся на сложных технических срезах: программировании, математике, инженерных задачах.

Какие задачи вас ждут

Создание технических бенчмарков
Одна из главных задач — придумывать и строить сложные бенчмарки, на которых можно честно сравнивать модели между собой. Вам предстоит формулировать критерии оценки для задач с кодом и техническими рассуждениями, экспериментировать с разными подходами (от автоматических проверок до LLM-as-a-judge и экспертной разметки) и создавать стабильные метрики, по которым команда разработки сможет улучшать модель.

Оценка агентских способностей
Современные модели всё чаще решают задачи не в один проход, а через цепочки вызовов инструментов: запускают код, ищут информацию, работают с файлами. Вам предстоит придумывать, как измерять, насколько хорошо модель сама выбирает инструменты, корректно ими пользуется и доводит задачу до результата.

Сбор данных для роста качества
Хорошие данные — это очень важно. Вам предстоит работать с разными источниками: проектировать синтетические пайплайны генерации задач, ставить технические задания экспертным AI-тренерам по сложным техническим срезам, запускать краудсорсинговые разметки с системой контроля качества. Важная часть работы — формулировать критерии эталонных решений и следить за их соблюдением.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

• Уверенно владеете SQL и Python
• Любите и умеете анализировать данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему
• Понимаете, как устроены агентские системы, или участвовали в их построении

Будет плюсом, если вы

• Работали с метриками в NLP
• Свободно читаете на английском

Что мы предлагаем

Высокий совокупный доход

Премии каждые полгода для всех, кто успешно прошёл ревью.

Офисы, в которые хочется ходить

В офисах есть всё, что нужно для комфортной работы: удобные рабочие зоны, уютные места для отдыха, кофепойнты для спокойных перерывов.

В офисах в Москве, Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани и Нижнем Новгороде есть тренажёрные залы со всем необходимым.

Расширенная медицинская страховка

Начинает работать с первого месяца. В неё входят:

• плановая и неотложная помощь, стоматология, расширенный превентивный чекап, телемедицина 24/7;
• психотерапия в онлайн-сервисах наших партнёров;
• после года работы добавляется лазерная коррекция зрения, после двух — ведение беременности и роды.

Также мы покрываем 80% стоимости ДМС для супругов и детей.

Возможности для роста

Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей.

Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям.

Если для работы нужен иностранный язык, поможем организовать обучение и оплатим 50% стоимости.

И ещё

Делаем закрытые мероприятия: вечеринки, фестивали и другие ивенты.

В Яндексе много клубов по интересам, Random Coffee, сервисы для знакомств и взаимопомощи. А наши спортивные клубы регулярно участвуют в забегах, триатлонах и других соревнованиях.

На портале скидок масса специальных предложений для сотрудников от наших партнёров.