О проекте:
Мы разрабатываем интеллектуальные системы на базе современных embedded-платформ и алгоритмов машинного обучения для задач восприятия окружающей среды и управления роботизированными комплексами. Команда занимается созданием систем мультимодальной детекции, объединяющих данные с оптических сенсоров, аудиосистем и других источников информации.
В рамках проекта разрабатываются ML-модели для обнаружения, классификации и анализа объектов по изображениям, звуковым сигналам и различным признакам среды. Полученные данные используются для принятия решений системой управления и взаимодействия с исполнительными механизмами.
Обязанности:
- Разработка, обучение и оптимизация моделей машинного обучения для задач компьютерного зрения и обработки аудиосигналов.
- Создание алгоритмов оптической детекции: обнаружение объектов, анализ контуров, движения, контраста, текстур и других визуальных признаков.
- Разработка моделей для обработки звуковых сигналов: детекция событий, классификация источников звука, выделение полезных сигналов на фоне шумов.
- Подготовка и обработка датасетов: сбор данных, разметка, аугментация, анализ качества выборок.
- Настройка и оптимизация нейросетей для работы в режиме реального времени на embedded-платформах (NVIDIA Jetson и аналогичные системы).
- Интеграция ML-моделей с программным обеспечением системы сбора данных и управления исполнительными механизмами.
- Проведение экспериментов, оценка качества моделей, поиск и устранение ошибок детекции.
- Оптимизация производительности моделей с учетом ограничений вычислительных ресурсов и требований к задержкам.
Требования:
- Образование в области машинного обучения, компьютерных наук, математики, робототехники, электроники или смежных направлений.
- Опыт разработки и внедрения ML-моделей от 2 лет.
- Уверенное владение Python.
- Опыт работы с ML-фреймворками: PyTorch и/или TensorFlow.
- Понимание принципов работы нейронных сетей для задач компьютерного зрения и обработки сигналов.
- Опыт работы с алгоритмами детекции и классификации объектов (CNN, YOLO, SSD, Faster R-CNN и аналоги).
- Знание методов обработки изображений: фильтрация, сегментация, выделение признаков, анализ контраста и границ объектов.
- Опыт работы с аудиоданными: спектральный анализ, FFT, Mel-спектрограммы, классификация звуковых событий.
- Навыки работы с OpenCV и библиотеками обработки данных (NumPy, Pandas, SciPy).
- Понимание принципов подготовки датасетов и оценки качества моделей (precision, recall, mAP, F1-score).
- Умение работать с Linux-средой и системами контроля версий (Git).
- Способность работать самостоятельно, проводить исследования и доводить решения до работающего прототипа.
Будет преимуществом:
- Опыт разработки ML-решений для embedded-платформ NVIDIA Jetson.
- Знание инструментов оптимизации моделей: TensorRT, ONNX, CUDA.
- Опыт работы с камерами, тепловизорами, лидарами, радарами и другими сенсорами.
- Опыт построения мультимодальных моделей, объединяющих данные от нескольких типов сенсоров.
- Опыт работы с задачами трекинга объектов, оценки положения объектов в пространстве и sensor fusion.
- Опыт обработки аудио в реальных условиях: шумы, эхосигналы, удаление помех.
- Опыт разработки систем реального времени для робототехнических комплексов.
Условия:
- Современный офис и оснащенная лаборатория для разработки и тестирования робототехнических систем.
- Постоянный доступ к оборудованию: NVIDIA Jetson, камеры различного типа, микрофонные массивы, сенсоры и вычислительные платформы.
- Работа над сложными задачами на стыке машинного обучения, компьютерного зрения, обработки сигналов и робототехники.
- Возможность влиять на архитектуру решений и участвовать в полном цикле разработки — от исследования идеи до внедрения в реальную систему.
- Возможности для профессионального роста, обучения и развития экспертизы в области AI и embedded ML.
