ML‑разработчик в команду ядра детекции (Автономный транспорт)

Команда Detector Alignment входит в отдел восприятия Автономного транспорта. Наша задача — обеспечить, чтобы автомобиль правильно «видел» и понимал окружающую среду в любых условиях: днём и ночью, в дождь, снег и туман.

Мы обрабатываем данные с камер, лидаров и радаров, разрабатываем нейросетевые алгоритмы и внедряем их в работу автомобиля.

Сейчас в нашем стеке восприятия много разных компонентов с похожей семантикой: Occupancy Grid, Height Grids, лидарная семантическая сегментация и другие. Каждому из них нужна своя разметка, настройка и свой бюджет latency. При этом все они по сути описывают одно и то же: что и где занимает пространство вокруг машины.

Нам нужен специалист, который возглавит эту работу — от создания исследовательского PoC до внедрения продакшен‑модели в автомобиль.

Какие задачи вас ждут

• Анализ методов 3D Occupancy Prediction — Вы будете изучать современные методы прогнозирования occupancy в 3D: и на основе данных с камеры (camera-only), и с объединением данных камеры и лидара (camera-lidar fusion).
• Интеграция 3D OG — Нужно спроектировать работу occupancy в трансформерной модели.
• Анализ пайплайна и работа с датасетом — Вы будете разбирать текущий пайплайн генерации псевдоразметки для статических и динамических объектов.
• Обучение модели — Вы будете реализовывать и обучать модель, которая предсказывает 3D OG.
• Унификация голов восприятия — Вы будете постепенно заменять разные типы голов — OG, AG, height grids — единым представлением в виде voxel grid.
• Оптимизация latency — Вы будете оценивать и оптимизировать стоимость инференса в рамках текущего бюджета.
• Улучшение детекции — Вы будете итеративно повышать качество детекции: работать с лоссами и семплированием.
• Alignment и устойчивость — Вы будете обеспечивать, чтобы модели хорошо работали в разной погоде и освещённости.

Что ждёт

• Уверенно обучаете нейросетевые модели и владеете PyTorch (или TensorFlow) и фреймворками поверх.
• Ориентируетесь в прикладном DL и компьютерном зрении.
• Понимаете, как устроены трансформеры и attention изнутри.
• Умеете работать с 3D‑представлениями: BEV, voxel grids и т.д.
• Способны самостоятельно вести исследовательскую задачу.
• Понимаете особенности realtime‑ограничений.

Будет плюсом, если вы

• Работали с query-based архитектурами восприятия.
• Работали с мультимодальными моделями.
• Оптимизировали инференс под целевое железо.

Бенефиты работы в Яндексе

Расширенная медицинская страховка и ежегодные чекапы.

Больше о бенефитах

Узнать больше