29 сент.
Специалист по сбору данных на башкирском языке (AI/LLM)
от 35 000 ₽
Уфа
Удалённо
ИТ-аккредитация
Привет! Меня зовут Рома. Я отвечаю за офлайн-метрики Поиска в Яндексе. Наши ключевые сервисы — Поиск с Алисой, Картинки, Видео — оценивают полезность и обучают модели с учётом метрик, которые мы разрабатываем на основе LLM вместе с экспертами и редакторами. Присоединяйтесь к нам — вместе создадим Поиск будущего! :)
Роман Бойкий
Руководитель службы офлайн-метрик Поиска
AI-агент не может ограничиться просто списком ссылок. Ему необходимо искать сведения для решения конкретной задачи, проверять источники и собирать информацию для ответа — порой в несколько шагов. Мы совершенствуем поиск, который помогает Алисе отвечать на вопросы в чате и Поиске, а также развиваем Yandex Search API для внешних AI-продуктов.
Вам предстоит создавать метрики качества Агентского Поиска — их рост приведёт к улучшению качества ответов Алисы. Нужно будет проверять метрики на экспертных бенчмарках и наладить регулярную оценку качества в продакшене.
Вы будете разбирать сложные запросы и цепочки поисковых действий агента. Ваша задача — выяснить, почему нужная информация не попала в ответ: например, страница отсутствует в поисковой базе, документ потерян при ранжировании или ключевой факт не включён в контекст. На основе анализа нужно предлагать эксперименты и помогать другим командам определять приоритеты.
Вам нужно будет изучать новые способы отбора документов для AI-агентов, создавать прототипы, сравнивать разные варианты и вместе с командой доводить перспективные решения до релиза.
Вы будете оценивать фрагменты документов, которые получает языковая модель, и искать способ сохранить нужные факты, уменьшить объём текста и не исказить смысл.
Вам предстоит сравнивать Yandex Search API с другими поисковыми API — использовать открытые бенчмарки и сценарии команды, чтобы результаты были воспроизводимыми. Нужно выяснять, почему качество отличается, формулировать на этой основе проверяемые гипотезы и оценивать, как можно улучшить внешние AI-продукты. При этом важно учитывать условия эксперимента: используемые модели, доступный контекст, количество поисковых вызовов и время ответа.
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:
Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.
Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.
Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.
30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.
Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.
После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.
Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.
Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет. Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас. Больше о бенефитах
Умножим шансы на каждом этапе поиска и поможем получить выгодный оффер
Узнать большеБудьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
Будьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
