AI инженер (команда LLM Evals)

создаём и поддерживаем
высоконагруженные
продукты Технический департамент разрабатывает масштабируемые, надёжные и инновационные решения, которые обеспечивают бесперебойную работу сервисов ~600 человек в IT, data,
product 60+ команд в техническом
департаменте 30% времени закладываем
на работу с тех. долгом стенды личные, а не общие 1 млн+ событий обрабатываем
и храним телеметрию 99,99% uptime

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt-инженера, который поможет нам создавать, тестировать внедрять GenAI-решения.

Если вам интересно развивать продукты на базе LLM — через промпты, дизайн llm-пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик — мы будем рады видеть вас в нашей команде.

Чем предстоит заниматься:

• Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM;
• Настраивать поведение моделей — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов, агенты, RAG и пр.);
• Тестировать и оценивать качество работы llm-решений на всех этапах — собирать актуализировать golden-сеты, валидационные выборки, настраивать llm-as-a-judge, развивать подходы автоматической оценки работы llm-фичей, создавать метрики и бенчмарки;
• Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов.

Требования:

• Практический опыт создания решений на базе LLM (prompt engineering, RAG, function calling, structured outputs, reasoning, agents);
• Понимание теории ML, глубокого обучения, современных подходов к NLP;
• Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками;
• Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику;
• Живой интерес к сфере GenAI, опыт работы с популярными вендорными и open-source моделями (Qwen, Llama, DeepSeek, GPT-OSS);
• Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги);
• Понимание методов оценки качества LLM (бенчмарки, human eval, LLM-as-as-Judge) и метрик для различных NLP-задач;
• Продуктовое мышление - смотреть на задачи через призму “помочь конечному пользователю”, участвовать в брейнштормах и приносить новые идеи.

Будет плюсом:

• Практический опыт файнтюнинга различных LLM под продуктовые задачи (SFT, PEFT, RLHF, LoRA, PPO, DPO, GRPO);
• Опыт внедрения LLM решений в продакшн.

Условия:

• Возможность выбора места работы: удаленно или из офиса;

• Гибкий график рабочего дня;

• Оформление в соответствии с ТК РФ;

• Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно);

• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.

почему с нами круто? сложные и масштабные задачи работаем с высокими
нагрузками и инновационными технологиями влияние на продукт каждый вклад напрямую
улучшает опыт миллионов
пользователей культура открытости обмен знаниями, код-ревью
и эксперименты с новыми
подходами профессиональный
рост конференции, обучение,
внутренние митапы и менторство работа у нас это: 1 well-being-программа, которая помогает улучшить ментальное и физическое здоровье, разобраться с финансовыми и юридическими вопросами 2 дмс с первого месяца работы — со стоматологией, страхованием жизни и скидками на дмс для семьи 3 развитие и обучение сотрудников: курсы, тренинги, вебинары, менторство, конференции 4 гибридный и удаленный формат работы 5 комфортные офисы в 10 городах России 6 аккредитованная IT-компания ждём только
тебя *команда hh