22 сент.
Технический менеджер (стажёр)
ЗП не указана, ≈ 249 033 ₽
Intern
Мы — исследовательская команда, на переднем крае LLM-технологий. Мейнстрим-рецепт LLM для нас — это потолок, который мы пытаемся пробить.
Ищем архитектурные ходы, новые objective-функции, нестандартные режимы reasoning'а — всё, что может дать кратный прирост качества/скорости. Жизненный цикл идеи: от гипотезы → PoC-фреймворк → прод. флагманской LLM. Если коротко: ищем людей, которым интересна прикладная исследовательская работа в среднем и высоком risk-reward профиле.
Направление, под которое ищем лида: омнимодальная память.
— как модель хранит, обновляет и использует знание за пределами контекстного окна — по тексту, аудио, видео
— память как часть архитектуры, а не обвязка вокруг модели: обучаемые механизмы записи и чтения, консолидация, забывание
— длинный контекст и длинные сессии, работа с KV-кэшем
— метрики и бенчмарки под память — чем меряем прогресс, чтобы не обманывать себя
— стыковка с остальными треками команды: reasoning, агенты, инференс
Над чем работаем помимо этого
Альтернативные архитектуры
— encoder-decoder, гибридные attention (linear + softmax), sparse/MoE с нестандартным dispatching, итеративные/loop-трансформеры
Новые training objectives и режимы обучения
— multi-token и future-state prediction, RL-pretraining, дистилляция против ансамблей teacher-моделей
Reasoning
— латентный/омнимодальный reasoning, обучаемые value-сети, MCTS-подобный поиск, self-play, ансамбли гетерогенных моделей
Эффективность и inference
— адаптивные вычисления, MoD/early-exit, serving для нестандартных архитектур
Специализированные направления
— символьные/фонетические задачи, креативная генерация, agentic capabilities
Часть гипотез доедет до PoC/прода, часть умрёт на small-scale. Это ожидаемо.
— Собрать и защитить план направления: какие гипотезы берём, какие не берём, чем меряем успех
— Разбирать существующие LLM-пайплайны до компонент и находить места для апгрейда не на 1%, а в разы
— Вести несколько гипотез параллельно — от абляций до полного pretrain/post-train цикла со scaling laws
— Обучать, валидировать и имплементировать новые архитектуры и objectives — иногда с залезанием в инфраструктуру (kernel'ы, training-фреймворк, serving)
— Упаковывать результаты в PoC, инференс-движок, пилоты
— Растить команду под трек: нанимать, ставить задачи, ревьюить код и эксперименты
— Публиковаться на A/A*-конференциях — опционально, но поощряем
— Глубокое понимание современного трансформера и всех этапов LLM-пайплайна
— Качественный воспроизводимый ML-код, опыт обучения в multi-GPU (лучше multi-node) режиме
— Практический опыт на каком-то из этапов LLM-строения — индустрия или серьёзный pet-project, формат не принципиален
— Хорошая насмотренность по литературе, способность читать paper'ы критически — отличать зёрна от плевел
— Умение быстро валидировать смелые гипотезы
Будет плюсом
— опыт в классическом ML/NLP до эпохи больших моделей
— публикации уровня A/A* и опыт прохождения review-цикла
— large-scale training (multi-node, FSDP/DeepSpeed/Megatron)
— призовые места на Kaggle и подобных
Предлагаем:
Умножим шансы на каждом этапе поиска и поможем получить выгодный оффер
Узнать большеБудьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
Будьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
