ML/LLM-инженер: RAG, верифицированная генерация, eval

Привет. Я Виктор, основатель IntellectDialog (7 лет, 500+ клиентов, резидент Сколково). Собираю senior-команду под грантовый НИОКР: система для стоматологических клиник, которая сама решает, кому, когда и в каком канале написать пациенту, сама записывает в МИС и объясняет каждое своё решение. Внутри — байесовские профили, скоринги, решающие правила с доказанными теоремами и генерация, где каждая цифра обязана иметь источник.

Важно: только senior с продовым опытом ровно в том, что написано ниже. Смежный опыт не считается, доучивать некогда — сроки грантовые. В сопроводительном обязательно: научные публикации/доклады, если есть (для гранта это влияет на выбор), сколько часов в день готовы уделять, и подтверждение, что ставка 1500 ₽/час вам подходит. Отклик без этих пунктов и без обязательных пунктов из конца вакансии не рассматриваю.

ML/LLM-инженер: RAG, верифицированная генерация, eval

Вы будете делать «доверенную» часть: классификатор обращений и генерацию, в которой галлюцинация невозможна по построению.

Что конкретно: — классификатор обращений (~20 интентов), пороги по Нейману–Пирсону: пропуск острого состояния ≤ 1%, и под этим ограничением давим ложные тревоги. Заодно честно сравним компактную LLM против дообученного энкодера — это отдельная исследовательская задача с протоколом; — контур генерации: vLLM + xgrammar, схема claims — каждое утверждение обязано тащить ссылку на источник, обязательность зашита в грамматику декодера; — валидатор ответов в пять ступеней, модель-судья (посмотрим Lynx против LettuceDetect); — RAG с предфильтрацией по метаданным; для прайсов — точный lookup, никакого векторного поиска по ценам; — eval как гейты CI: golden-набор, red-team на 200+ провокаций, регрессия из инцидентов.

Кого ищу: того, кто выводил RAG/LLM в прод и может назвать свои цифры — «hallucination rate был X, стал Y после того-то». Опыт именно с русскоязычными обращениями обязателен.

Кому не писать: если ваш опыт — демо на LangChain, промпты без инженерии конвейера или только английский язык. Если не понимаете разницу между «попросить модель вернуть JSON» и «сделать невалидный вывод синтаксически невозможным» — это маркер, что пока рано.

Стек: Python, vLLM/xgrammar, Postgres + pgvector. Ядро платформы — Node.js/React/Postgres.

В отклике обязательно:

1. Кейс с цифрами качества до/после и ваша роль.
2. В 3–5 предложениях: как гарантировать, что модель не назовёт цену, которой нет в источниках.
3. Пройдитесь по списку, напротив каждого пункта — «работал в проде» / «знаю поверхностно» / «не работал». Честно: на созвоне копну в любой пункт: — vLLM или SGLang: разворачивали сами или пользовались чужим сервингом; — constrained decoding: xgrammar / Outlines / guided_json — что именно и для каких схем; — эмбеддинги и реранкинг: BGE-M3 или аналоги, гибридный поиск dense+sparse; — детекторы галлюцинаций / модели-судьи: Lynx, LettuceDetect, свои LLM-as-judge; — eval-фреймворки: Promptfoo, DeepEval, Ragas — что гоняли в CI, а не разово; — guardrails: NeMo Guardrails, LLM Guard, свои сканеры инъекций; — дообучение классификаторов: SetFit / полный файнтюн энкодеров; — pgvector или другой векторный движок в проде.
4. Отдельным абзацем: что в вашем продовом LLM-проекте вы строили с нуля сами (конвейер, валидатор, eval-инфраструктура, схема данных), а что собрали из готовых кусков. И то и другое нормально — мне важно понять ваш реальный вклад.
5. GitHub, статьи, доклады.
6. Научные достижения, если есть — списком.
7. Доступность: сколько часов в день готовы уделять, с какой даты — и подтверждение, что ставка 1500 ₽/час по факту отработанного вам ок. Без этого подтверждения созвон не назначаю, чтобы не тратить время обеих сторон.

Условия: удалёнка, от 4 часов в день, 1500 ₽/час по факту, самозанятость/ИП/ГПХ, 12–18 месяцев. Для ключевых участников по итогам успешной реализации — опцион на долю в компании (условия индивидуально, после первых месяцев работы). Это НИОКР с публикациями и РИД — 50+ клиник-клиентов ждут пилотов, результат уйдёт в прод. Если есть научные публикации, доклады, участие в НИОКР — приложите список, для гранта это важно и влияет на выбор.