Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед
Подробнее в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.
Это не классическая инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.
Вы будете оценивать, как AI coding-агенты ведут себя в реальных сценариях, с фокусом на:
• Имеет ли ответ смысл
• Полезны ли преамбула и рассуждения
• Отражает ли результат сильную инженерную суждательность
• Ощущается ли взаимодействие правильным для опытного разработчика
Эта роль про инженерный вкус. Синтаксическая корректность — лёгкая часть.
• Оценивать сгенерированные AI coding-взаимодействия от начала до конца
• Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думал бы сильный инженер
• Оценивать качество объяснений и рассуждений, а не только кода
• Различать уровни качества ответов (что отличает оценку 2 от 4)
• Давать чёткую, аргументированную письменную обратную связь о том, что сработало, что нет и что показалось странным или вводящим в заблуждение
• Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code
Мы ищем инженеров, которые могут ответить на вопросы вроде:
• Похоже ли это на то, что реально сказал бы сильный инженер?
• Это объяснение полезно или просто технически верно?
• Модель хорошо ведёт пользователя или просто вываливает результат?
• Такое взаимодействие укрепит или подорвёт доверие?
Вам должно быть комфортно делать субъективные, но строгие суждения и ясно их объяснять.
• Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)
• Сильный бэкграунд в TypeScript/JavaScript или Python
• Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor
• Глубокое знакомство с современными AI-assisted dev workflow
• Умение оценивать код без запуска и без разбора каждой строки
• Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование
• Комфортно давать прямую, аргументированную обратную связь
• Высокая планка того, как выглядит хорошая инженерия
• Опыт prompt design или evaluation workflow
• Опыт менторства senior-инженеров или определения инженерных стандартов
• Ставка: $100–$200/час в зависимости от опыта и локации
• Часы: 10–20 часов в неделю, гибкий график
• Срок: на постоянной основе. Проекты длятся примерно от двух недель до нескольких месяцев; тем, кто хорошо справляется, предлагаем новые
• Старт: как только вы пройдёте take-home и в проекте освободится место
• Процесс: одно take-home evaluation exercise с записанным разбором на Loom. Без интервью
Будьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.