Старший инженер-программист, обучение ИИ — Калифорния

Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед

Подробнее смотрите в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5

Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.

Чем на самом деле является эта роль

Вы будете оценивать, как AI coding-агенты ведут себя в реальных сценариях, с фокусом на:

• Имеет ли ответ смысл

• Полезны ли преамбула и рассуждения

• Отражает ли результат сильную инженерную суждённость

• Ощущается ли взаимодействие правильным для опытного разработчика

Эта роль про инженерный вкус. Корректность синтаксиса — простая часть.

Чем вы будете заниматься

• Оценивать сгенерированные AI coding-взаимодействия от начала до конца

• Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думает сильный инженер

• Оценивать качество объяснений и рассуждений, а не только кода

• Различать уровни качества ответа (что отличает оценку 2 от оценки 4)

• Давать чёткую, аргументированную письменную обратную связь о том, что сработало, что нет и что показалось странным или вводящим в заблуждение

• Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code

Что мы имеем в виду под «вкусом»

Мы ищем инженеров, которые могут ответить на вопросы вроде:

• Похоже ли это на то, что на самом деле сказал бы сильный инженер?

• Полезно ли это объяснение или оно лишь технически верно?

• Хорошо ли модель ведёт пользователя или просто вываливает результат?

• Укрепит ли это взаимодействие доверие или подорвёт его?

Вы должны быть готовы делать субъективные, но строгие суждения и ясно их объяснять.

Кто вы

• Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)

• Сильный бэкграунд в TypeScript/JavaScript или Python

• Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor

• Глубокое знакомство с современными AI-assisted dev workflow

• Умение оценивать код без запуска и без просмотра каждой строки

• Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование

• Комфортно давать прямую, аргументированную обратную связь

• Высокая планка того, как выглядит хорошая инженерия

Будет плюсом

• Предыдущий опыт в prompt design или evaluation workflow

• Опыт менторства senior-инженеров или определения инженерных стандартов

Условия сотрудничества

• Ставка: $100–$200/час в зависимости от опыта и локации

• Часы: 10–20 часов в неделю, гибкий график

• Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев каждый; тем, кто хорошо справляется, мы предлагаем новые

• Старт: как только вы пройдёте take-home и в проекте освободится место

• Процесс: одно take-home задание на оценку с записанным разбором в Loom. Без собеседования