Инженер по производительности, Inference Engine

San Francisco, CA | New York City, NY

О компании Anthropic

Миссия Anthropic — создавать надёжные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — быстро растущая группа преданных своему делу исследователей, инженеров, экспертов по политике и руководителей бизнеса, работающих вместе над созданием полезных систем ИИ.

О роли

Inference engine Anthropic — это программное обеспечение между ядрами ускорителей и слоем маршрутизации. Оно управляет всем путём токена между ними: батчинг запросов, размещение модели по чипам, управление памятью для весов и активаций, координация каждого forward pass и управление состоянием модели между запросами. Разработанный in-house, он работает на всех наших платформах ускорителей, обслуживая Claude для миллионов пользователей и выполняя наши исследовательские нагрузки.

Вы будете работать над созданием и оптимизацией этой системы в масштабе Anthropic: повышение пропускной способности, снижение стоимости, надёжности и задержки на всех платформах ускорителей и облаков. Вы хорошо знакомы с характеристиками железа и пропускной способности (FLOPs, HBM, PCIe, RDMA, сетевые каналы и т. д.) и быстро моделируете задачу: куда уходят время и байты и что задаёт ограничение. Роль глубоко техническая и с высоким влиянием; она подходит инженерам, которым нравится работать на стыке программирования ускорителей, высокопроизводительных систем, бесшовно координирующих host и device, и крупномасштабных распределённых систем. Знание архитектуры transformer — плюс.

Некоторые типичные повторяющиеся темы:

• Держать утилизацию device высокой. Ускорители не должны простаивать из‑за прочих накладных расходов.
• Переиспользовать вместо пересчёта. Держать состояние модели в кэше и переиспользовать его, когда это дешевле, чем вычислять заново.
• Измерить, смоделировать, затем менять. Мы строим observability, чтобы видеть пробелы, моделируем эффект потенциальных улучшений, внедряем их и повторяем цикл, при этом Claude ускоряется на каждом витке этого цикла.
• Токены, которым можно доверять. Качество модели важнее эффективности. Мы строим инфраструктуру, чтобы Claude сохранял свой интеллект на разных платформах и со временем.
• Безопасность на каждом токене. Мы тесно работаем с командами safeguards и safety. Inference engine — основа наших production-систем безопасности, обеспечивая эффективность без компромиссов в надёжности.

Минимальные требования

• Рабочая ментальная модель inference LLM: как prefill и decode ложатся на compute, memory и interconnect ускорителя и чем занят host в это время
• Доказанная способность быстро обучаться: быстро входить в глубокие незнакомые системы и быстро выпускать значимые изменения
• Сильное системное программирование (Rust, C++ или аналоги), с вниманием к качеству кода и тестам
• Аналитический подход к производительности: сначала наблюдать и профилировать, сформулировать гипотезу, проверить её, затем изменить код и снова измерить
• Низкое эго: задавать «наивные» вопросы, хорошо принимать обратную связь, подхватывать задачи вне своей должностной инструкции
• Нравится pair programming (мы любим pair!) и важны социальные последствия вашей работы

Желательные требования

• Опыт внутри LLM serving engine и понимание, где его абстракции дают трещину
• Программирование GPU/ускорителей
• Внутренности ОС
• Language modeling с transformers
• Опыт создания allocator, cache, scheduler или high-bandwidth transport
• Свободное владение Rust
• Опыт воспроизводимости систем: determinism, replay, property-based tests

Организационные вопросы

Минимальное образование: степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта

Требуемая область обучения: область, релевантная роли, подтверждённая курсами, обучением или профессиональным опытом

Минимальный стаж: требуемый стаж будет соответствовать внутренним требованиям уровня должности для позиции

Гибридная политика по локации: сейчас мы ожидаем, что все сотрудники будут в одном из наших офисов минимум 25% времени. Однако для некоторых ролей может потребоваться больше времени в офисах.

Спонсирование виз: мы спонсируем визы! Однако мы не можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам офер, мы приложим все разумные усилия, чтобы получить вам визу, и у нас есть иммиграционный юрист для помощи в этом.

Мы призываем подавать заявку, даже если вы не считаете, что соответствуете каждому пункту требований. Не все сильные кандидаты будут соответствовать каждому пункту из списка. Исследования показывают, что люди из недостаточно представленных групп чаще испытывают синдром самозванца и сомневаются в силе своей кандидатуры, поэтому мы просим не отсеивать себя преждевременно и подать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, что мы строим, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство ещё более важным, и стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность важна для нас. Чтобы защититься от мошенничества, помните: рекрутеры Anthropic связываются с вами только с адресов @anthropic.com. В некоторых случаях мы можем работать с проверенными рекрутинговыми агентствами, которые представятся как работающие от имени Anthropic. Остерегайтесь писем с других доменов. Настоящие рекрутеры Anthropic никогда не попросят деньги, сборы или банковские реквизиты до вашего первого рабочего дня. Если вы сомневаетесь в сообщении, не переходите по ссылкам — зайдите напрямую на anthropic.com/careers, чтобы увидеть подтверждённые открытые позиции.

Чем мы отличаемся

Мы считаем, что исследования ИИ с наибольшим влиянием будут большой наукой. В Anthropic мы работаем как единая сплочённая команда над несколькими крупномасштабными исследовательскими направлениями. И мы ценим влияние — продвижение наших долгосрочных целей управляемого, заслуживающего доверия ИИ — а не работу над более мелкими и узкими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая столько же общего имеет с физикой и биологией, сколько с традиционными направлениями информатики. Мы крайне collaborative группа и часто проводим исследовательские обсуждения, чтобы в каждый момент заниматься работой с наибольшим влиянием. Поэтому мы высоко ценим коммуникативные навыки.

Проще всего понять наши исследовательские направления, прочитав наши недавние публикации. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Приходите работать с нами!

Anthropic — public benefit corporation со штаб-квартирой в San Francisco. Мы предлагаем конкурентную компенсацию и льготы, опциональное matching пожертвований акциями, щедрый отпуск и декретный отпуск, гибкий график и приятное офисное пространство для совместной работы с коллегами. Рекомендации по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.