LlmOps-DevOps

Мы привлекаем амбициозных профессионалов по всей России, чтобы вместе решать прорывные задачи и создавать инновации. Нас уже более 1700 человек

Обязанности:

• Развертывание и эксплуатация LLM:
  - Запуск и масштабирование больших языковых моделей (LLM) в продакшн-среде (инференс-кластеры).
  - Реализация техник оптимизации: квантизация (GPTQ, AWQ), vLLM, TensorRT-LLM, speculative decoding для снижения задержек (latency) и увеличения пропускной способности (throughput).
  - Настройка автоматического масштабирования (autoscaling) инференс-эндингов в зависимости от нагрузки.

• Поддержка и развитие ML-архитектуры:

  - Сопровождение и рефакторинг текущей архитектуры ML Inference.
  - Разработка и поддержка платформенных решений для бесшовного переключения между разными моделями (A/B тестирование, канареечные деплои).

• Сетевая инфраструктура для продуктов:
  - Проектирование и настройка высокоскоростной сетевой связности между GPU-кластерами (NVIDIA NCCL), объектным хранилищем (S3) и приложениями.
  - Настройка Service Mesh (Istio) и Ingress-контроллеров для маршрутизации трафика к AI-сервисам с учетом требований безопасности.
  - Обеспечение сетевой изоляции (VPC, Security Groups) для тенантов, работающих с чувствительными данными.

Требования:

• Продвинутый опыт с Kubernetes (Helm, Kustomize, операторы).

• Опыт работы с GPU-оператором (NVIDIA GPU Operator) и настройкой node-пулов с различными типами GPU (A100, H100, и др).

• Уверенное владение инструментами для управления инфраструктурой как кодом (IaC). - Опыт развертывания LLM в продакшн с использованием vLLM, Sglang.

• Желательно понимание техник оптимизации: квантизация (FP8, INT4/8), пакетная обработка (continuous batching), управление KV-cache.

• Глубокое понимание работы CNI (Cilium) в Kubernetes.

• Глубокое знание сетевой модели OSI, TCP/IP стека;

• Опыт администрирования Unix-подобных ОС;

• Опыт написания скриптов для автоматизации (Bash, Python);

• Опыт администрирования веб-серверов, понимание протокола HTTP;

• Опыт администрирования Open Source баз данных (Postgresql, Clickhouse и т.д.);

• Практические знания и опыт в построении архитектуры, разработке и внедрении CI/CD решений;

• Уверенное владение DevOps инструментами для сборки и развертывания приложений (Gitlab), опыт интеграции и настройки инструментов контроля и тестирования;

• Опыт настройки и интеграции систем хранения секретов (Vault);

• Владение Python/Go.

• Большим преимуществом будет умение работать в Envoy - в частности его настройка и расширение при помощи extproc;

• Опыт администрирование BareMetal серверов.

Работа в Cloud.ru — это:

• Комфортная среда
  • Оформление в соответствии с трудовым законодательством РФ
  • Достойный уровень дохода: оклад + годовой бонус
  • Расширенный ДМС со стоматологией
  • Компенсация спорта
  • Штатный терапевт и психолог
  • Гибкий график работы, пятница — сокращенный рабочий день
  • Классный офис в Москве и коворкинги в разных городах России
  • Возможность работать удаленно на территории РФ (зависит от функционала и позиции)
  • Культура, в основе которой эмпатия, уважение, открытость и свобода строить рабочий процесс так, как считаешь нужным
  • Полезные перекусы
• Место, где ты растешь
  • Индивидуальный план развития и обучение за счет компании
  • Возможность вертикального и горизонтального роста
  • Возможность развиваться как эксперту: выступать на мероприятиях, писать статьи
• Крутая команда
  • Профессиональные сообщества и клубы по интересам
  • Неформальные мероприятия: от футбольного клуба до посиделок с пиццей
• Еще у нас
  • Льготная программа ипотечного и потребительского кредитования
  • Материальная помощь при рождении детей и других семейных обстоятельствах
  • Бонусы за рекомендации кандидатов на открытые вакансии
  • Бонусные программы от компаний партнеров

ООО «ОБЛАЧНЫЕ ТЕХНОЛОГИИ» работает под брендом Cloud.ru