Старший инженер-программист, обучение ИИ — Канада

Контракт | Удалённо, по всему миру | $100–$200/час в зависимости от опыта и локации | 10–20 ч/нед

Подробнее смотрите в этом видео на Loom: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5

Мы ищем опытного инженера-разработчика уровня SR+ для оценки качества взаимодействий с современными coding-агентами, такими как OpenAI Codex и Claude Code.

Это не классическая инженерная роль. Вы не будете писать production-код. Вы будете оценивать то, что сложнее: думает ли модель как сильный инженер.

Чем на самом деле является эта роль

Вы будете оценивать, как AI coding-агенты ведут себя в реальных сценариях, с фокусом на:

• Имеет ли ответ смысл

• Полезны ли преамбула и рассуждения

• Отражает ли результат сильную инженерную суждательность

• Ощущается ли взаимодействие правильным для опытного разработчика

Эта роль про инженерный вкус. Корректность синтаксиса — простая часть.

Чем вы будете заниматься

• Оценивать сгенерированные AI coding-взаимодействия от начала до конца

• Судить, полезны ли результаты, верны ли они на высоком уровне и соответствуют ли тому, как думает сильный инженер

• Оценивать качество объяснений и рассуждений, а не только кода

• Различать уровни качества ответов (что отличает оценку 2 от оценки 4)

• Давать чёткую, аргументированную письменную обратную связь о том, что сработало, что нет и что показалось странным или вводящим в заблуждение

• Помогать определять, как выглядит отличная работа с инструментами вроде Cursor, Codex и Claude Code

Что мы имеем в виду под «вкусом»

Мы ищем инженеров, которые могут ответить на вопросы вроде:

• Похоже ли это на то, что сказал бы сильный инженер на самом деле?

• Это объяснение полезно или просто технически верно?

• Модель хорошо ведёт пользователя или просто вываливает результат?

• Укрепит ли такое взаимодействие доверие или подорвёт его?

Вам должно быть комфортно делать субъективные, но строгие суждения и ясно их объяснять.

Кто вы

• Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)

• Сильный бэкграунд в TypeScript/JavaScript или Python

• Практический опыт работы хотя бы с одним из OpenAI Codex, Claude Code или Cursor

• Глубокое знакомство с современными workflow разработки с помощью AI

• Умение оценивать код без запуска и без просмотра каждой строки

• Сильный письменный и устный английский (B2 и выше). Вы будете писать развёрнутую обратную связь и записывать короткие видеообъяснения — это обязательное требование

• Комфорт с прямой, аргументированной обратной связью

• Высокая планка того, как выглядит хорошая инженерия

Будет плюсом

• Предыдущий опыт в prompt design или evaluation workflow

• Опыт менторства senior-инженеров или определения инженерных стандартов

Условия сотрудничества

• Ставка: $100–$200/час в зависимости от опыта и локации

• Часы: 10–20 часов в неделю, гибко

• Срок: на постоянной основе. Проекты длятся от примерно двух недель до нескольких месяцев каждый, новые мы предлагаем оценщикам, которые хорошо справляются

• Старт: как только вы проходите take-home и в проекте есть свободное место

• Процесс: одно take-home evaluation-задание с записанным разбором на Loom. Без собеседования