Мы ищем руководителя направления обучения больших языковых моделей, который будет отвечать за развитие качества моделей в доменной области через системное управление обучением, данными и оценкой.
Роль предполагает работу на стыке исследований, инженерии и продуктовых задач с фокусом на практическое применение моделей в бизнесе.
Обязанности
1. Развитие качества моделей
- анализ современных методов обучения LLM (SFT, RLHF/DPO, synthetic data, дистилляция)
- формирование стратегии обучения моделей под бизнес-задачи
- определение необходимых навыков модели (skills decomposition)
2. Работа с данными
- проектирование и развитие пайплайна датасетов:
- сбор, очистка, разметка, валидация
- создание обучающих и тестовых выборок
- разработка синтетических датасетов
3. Бенчмарки и оценка
- разработка и поддержка системы оценки качества моделей
- создание бенчмарков (включая domain-specific)
- проведение регулярного тестирования и сравнительного анализа моделей
- контроль регресса
4. Управление командой
- руководство командой разметки (до 40 человек) и подготовки данных (4 человека)
- постановка задач, контроль качества разметки
- разработка методологии разметки и инструкций
- работа с инструментами разметки (например, TagMe)
5. Взаимодействие с рисками и compliance
- согласование подходов к обучению с управлением модельных рисков
- контроль аспектов: галлюцинации, bias, соответствие нормативным требованиям
- обеспечение прозрачности и воспроизводимости обучения
6. Интеграция с продуктом
- работа с продуктовыми командами (LLM-агенты, RAG-системы)
- приоритизация задач обучения на основе бизнес-метрик
- участие в запуске моделей в прод
7. Экономика и эффективность
- оценка эффективности обучения (качество vs стоимость)
- выбор оптимальных стратегий: дообучение vs архитектурные изменения
- оптимизация использования вычислительных ресурсов
Требования
- опыт работы с LLM / NLP от 3–5 лет
- практический опыт обучения моделей (SFT, RLHF/DPO или аналоги)
- опыт построения датасетов и evaluation pipelines
- понимание архитектуры LLM и принципов их обучения
- опыт управления командой
- уверенное владение Python и ML-стеком (PyTorch / HuggingFace)
Будет плюсом:
- опыт работы с доменными моделями (например, legal, finance)
- опыт построения пайплайнов генерации синтетических данных
- опыт внедрения моделей в прод
- знание подходов к снижению галлюцинаций.
Условия
- комфортный современный офис на ул. Вавилова д. 19
- формат работы - фул офис
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
