О компании Anthropic
Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые работают вместе над созданием полезных систем ИИ.
О роли
В качестве руководителя исследований в команде Training Insights вы будете разрабатывать стратегию и руководить выполнением задач по измерению и характеристике возможностей моделей на этапах обучения и развертывания. Это практическая руководящая роль: вы будете вести оригинальные исследования новых методологий оценки, одновременно руководя небольшой командой исследователей и инженеров-исследователей, занимающихся тем же.
Ваша работа охватит полный жизненный цикл разработки модели. Вы будете исследовать и создавать новые долгосрочные оценки, которые проверяют границы возможностей наших моделей, разрабатывать новые подходы к измерению возникающих способностей и углублять понимание того, как эти способности развиваются — как во время производственного обучения с подкреплением, так и после него. Вы также будете смотреть на процесс с межорганизационной точки зрения, работая с командами Reinforcement Learning, Pretraining, Inference, Product, Alignment, Safeguards и другими, чтобы составить карту ландшафта оценок моделей в Anthropic и выявить критические пробелы в покрытии.
Эта роль обладает значительной видимостью и влиянием. Вы поможете формировать нарратив оценки для релизов моделей, напрямую влияя на то, как Anthropic коммуницирует о своих моделях как внутри компании, так и с внешней аудиторией. При успешном выполнении вы измените то, как индустрия измеряет и понимает возможности моделей, значительно продвинув нашу миссию безопасности.
Обязанности:
- Создавать новые оригинальные и долгосрочные оценки
- Разрабатывать новые методы измерения для понимания того, как появляются и развиваются способности моделей во время обучения с подкреплением
- Руководить стратегическим покрытием оценок по всей компании
- Формировать нарратив оценки для релизов моделей
- Руководить и наставлять небольшую команду исследователей и инженеров-исследователей, задавая направление исследований и поддерживая культуру строгих и креативных исследований
- Проектировать рамки оценки, которые балансируют научную строгость с практическими требованиями производственных графиков обучения
- Строить и поддерживать отношения с исследовательской организацией Anthropic, чтобы обеспечить использование результатов оценки при принятии решений об обучении и развертывании
- Вносить вклад в более широкое исследовательское сообщество через публикации, открытые исходные коды или внешнее взаимодействие по лучшим практикам оценки
Вы можете подойти, если:
- Имеете значительный опыт проектирования и проведения оценок для больших языковых моделей или аналогичных сложных систем машинного обучения
- Руководили техническими проектами или командами, формально или через длительное владение критическими направлениями исследований
- Одинаково уверенно проектируете эксперименты и пишете код — умеете свободно переключаться между исследованиями и реализацией
- Стратегически думаете о том, что и почему измерять, а не только о том, как измерять
- Можете синтезировать информацию из нескольких команд и рабочих потоков, чтобы сформировать целостную картину возможностей модели
- Четко доносите сложные технические выводы как до технической, так и до нетехнической аудитории
- Ориентированы на результат и преуспеваете в быстро меняющейся среде, где приоритеты меняются в зависимости от результатов исследований
- Глубоко заботитесь о безопасности ИИ и хотите, чтобы ваша работа напрямую влияла на то, как разрабатываются и внедряются способные системы ИИ
Сильные кандидаты также могут иметь:
- Опыт создания оценок для долгосрочных или агентных задач
- Глубокое понимание динамики обучения с подкреплением и того, как поведение модели меняется во время обучения
- Публикации в области оценки машинного обучения, бенчмаркинга или смежных областях
- Опыт работы с рамками оценки безопасности и методологиями red teaming
- Опыт в психометрии, экспериментальной психологии или других дисциплинах, ориентированных на измерения
- Опыт коммуникации результатов оценки для информирования решений с высоким уровнем риска о разработке или развертывании моделей
- Опыт управления или наставничества исследователей и инженеров
Примеры проектов:
- Проектирование и внедрение набора долгосрочных оценок, которые проверяют возможности модели в задачах, требующих устойчивого рассуждения, планирования и использования инструментов в течение длительных взаимодействий
- Создание систем для отслеживания развития способностей на контрольных точках обучения с подкреплением, выявление инсайтов о том, когда и как появляются конкретные способности
- Проведение межорганизационного аудита покрытия оценок, выявление слепых зон и приоритизация новых оценок для заполнения критических пробелов в Pretraining, RL, Inference и Product
- Разработка методологии оценки и нарратива для крупного релиза модели, работа с руководителями исследований и коммуникациями для четкой характеристики возможностей и ограничений модели
- Исследование и прототипирование новых подходов к оценке способностей, которые трудно измерить с помощью существующих бенчмарков
- Руководство командной работой по созданию многоразовой инфраструктуры оценки, которая обслуживает несколько команд в исследовательской организации
Логистика
Годовой диапазон компенсации для этой роли составляет от 850 000 до 850 000 долларов США.
Требуется как минимум степень бакалавра в смежной области или эквивалентный опыт.
В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать большего времени в офисе.
Мы спонсируем визы!
Ваша безопасность для нас важна. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com.
Чем мы отличаемся
Мы считаем, что исследования ИИ с наибольшим воздействием — это большие научные проекты. В Anthropic мы работаем как единая сплоченная команда над всего несколькими крупномасштабными исследовательскими инициативами.
Присоединяйтесь к нам!
Anthropic — это корпорация общественной пользы с головным офисом в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное сопоставление пожертвований в акции и прекрасное офисное пространство для совместной работы с коллегами.
