5 окт.
ML-аналитик в AI-команду Яндекс 360
ЗП не указана
Москва
Гибрид, Офис, Удалённо
Middle
Senior
Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.
В Яндексе много разных поисков (квартиры, видео, афиша, врачи, услуги, товары и другие). Они различаются по технологиям, масштабу, качеству, но одно верно: сделать новый поиск — это большой инженерный и продуктовый проект. Мы радикально упрощаем эту задачу и создаём платформу, на которой поиски можно будет запускать или улучшать одним промптом.
Аналитическая команда внутри платформы отвечает за:
Главное отличие от обычной аналитической работы — мы делаем конвейер аналитики, а не улучшаем отдельные сервисы.
На каждом этапе мы придумываем универсальные критерии качества, которые будут работать сразу для сотен клиентов: как должны выглядеть хорошие датасеты; по каким признакам принимать работу агентов-разметчиков; как убедиться, что пользователи стали счастливее.
Датасеты
Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое.
Разметка
Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам.
Приёмка
Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов.
Больше о бэкенде в Яндексе — в канале Yandex for Backend
Умножим шансы на каждом этапе поиска и поможем получить выгодный оффер
Узнать большеБудьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
Будьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
