Разработчик инфраструктуры LLM

Создаём ассистента, который решает задачу пользователя целиком: от «нужно» до «готово» 24 млн. человек еженедельно решают задачи и ведут диалог в чате с Алисой AI Полный цикл разработки — от ML-моделей и бэкенда до собственного железа Развиваем Алису AI — эмпатичного ассистента с характером и чувством юмора.

Она соединяет возможности нейросетей, учитывает пользовательский контекст и живет в разных сервисах и устройствах.

Вокруг Алисы мы создаём единый опыт на стыке софта, моделей и железа: ассистент рассуждает, ведёт диалог в чате, выбирает нужные инструменты и помогает пользователю в повседневных сценариях. А умные устройства становятся частью этого опыта — чтобы управление было естественным, сценарии выполнялись надёжно, а взаимодействие с агентом было бесшовным.

Условия

Инференс LLM в масштабе — это сложная инфраструктурная задача: GPU работают на пределе, возникают сетевые задержки, возможны сбои оборудования. Мы создаём решения, чтобы эти события минимально влияли на доступность и latency нашего сервиса инференса.

Какие задачи вас ждут:

• Оптимизация инференсных движков
  Вам предстоит повышать эффективность и снижать latency при выполнении LLM-инференса на GPU.

• Развитие инструментов диагностики

  Вы будете создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, которые влияют на стабильность и скорость инференса.

• Исследование и внедрение

  Вам предстоит работать с методами оптимизации инференса (квантованием, прунингом) и современными подходами к параллелизации

Мы ждем, что вы:

• Владеете C++ и Python: имеете уверенные навыки низкоуровневого программирования и оптимизации
• Работали с GPU (NVIDIA) и CUDA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы под CUDA
• Глубоко понимаете архитектуру Transformer: знакомы с внутренними механизмами (attention, FFN, нормализацией) и их реализациями
• Знаете подходы к параллелизации: понимаете Data Parallel, Tensor Parallel, Pipeline Parallel (желательно ещё Expert Parallel) для распределённого инференса или обучения
• Интересуетесь LLM и MLOps: понимаете задачи и вызовы, связанные с эксплуатацией больших моделей в продакшне
• Умеете эффективно работать в команде и делиться знаниями

Будет плюсом, если вы:

• Работали с современными решениями для оптимизации инференса: vLLM, TensorRT-LLM (TRT-LLM) или sglang

Мы предлагаем Комфортные офисы Удобные рабочие зоны, кофепойнты, места для отдыха и спортивные пространства. Расширенный ДМС Медицина и стоматология с первого месяца, телемедицина 24/7 и поддержка психотерапии, 80% стоимости ДМС для супругов и детей. Бенефиты для сотрудников Бейджик Яндекса помогает не только оплачивать еду, но и экономить в самых разных местах: от спортивных магазинов и отелей до груминг-салонов и образовательных курсов. Развитие и обучение Участие в профильных конференциях, менторство, обучающие курсы, программы для руководителей. Яркая корпоративная жизнь Вечеринки, фестивали, клубы по интересам, спортивные команды и Random Coffee.