AI Quality Analyst

Аналитик качества ИИ

Испания / Эстония / Греция / Польша / Португалия / Великобритания / Кипр

Операции – Операции /

Полная занятость /

Удалённо

О компании Finom

Finom — европейский технологический стартап с головным офисом в Амстердаме, и мы на пути к революции в финансовом ландшафте для предпринимателей по всему миру. Наша миссия — разработать универсальное финансовое B2B-решение, которое интегрирует банковские функции, бухгалтерский учёт, финансовое управление и выставление счетов в единую, ориентированную на мобильные устройства платформу.

Недавно мы закрыли раунд финансирования серии C на сумму 115 миллионов евро (около 133 миллионов долларов), доведя общий объём инвестиций до примерно 346 миллионов долларов. Этот значительный вклад последовал за раундом финансирования роста на 105 миллионов долларов от General Catalyst, долгосрочного инвестора с 2021 года, известного поддержкой таких компаний, как Airbnb, HubSpot, KAYAK и Stripe.

Платформа Finom выходит за рамки традиционного банкинга, предлагая выставление счетов и растущий набор функций, включая бухгалтерию с поддержкой ИИ, направленных на упрощение финансового управления для предпринимателей. Мы активно расширяем своё присутствие на ключевых рынках ЕС, таких как Германия, Франция, Нидерланды, Италия и Испания.

В Finom мы не просто переосмысливаем опыт предпринимателей — мы даём нашим сотрудникам возможность действительно влиять на дело. Ваша работа важна, и ваше влияние выходит далеко за рамки продуктовых метрик. Мы поддерживаем инновации и вдохновляющую рабочую атмосферу, где смелые идеи процветают, уделяя приоритетное внимание тщательным исследованиям, быстрому внедрению решений и обеспечению того, чтобы все наши усилия приносили пользу пользователям, сотрудникам, партнёрам и нашему бизнесу в целом.

Сохраняя дух стартапа, мы уделяем приоритет тщательным исследованиям, быстрому внедрению решений и гарантируем, что каждое наше усилие приносит пользу нашим пользователям, сотрудникам, партнёрам и, конечно, нашему бизнесу.

В этой высоко кросс-функциональной роли вы будете хранителем безопасности ИИ, производительности и детерминированного поведения в недетерминированных мультиагентных системах. Вы не будете заполнять общие таблицы ручного тестирования или работать в изоляции.

Чем вы будете заниматься

• Проектировать автоматизированные системы оценки: Разрабатывать, внедрять и поддерживать масштабируемые конвейеры оценки (Evals) для больших языковых моделей (LLM) и графов агентов с использованием современных инструментов, таких как LangSmith, DeepEval, Ragas или Opik.
• Создавать эталонные наборы данных: Сотрудничать с экспертами в предметной области для создания, версионирования и очистки надёжных эталонных наборов данных, синтетических профилей оценки и матриц тестирования крайних случаев, отражающих реальные бизнес-сценарии.
• Отвечать за отслеживание качества в недетерминированных системах: Определять, контролировать и обеспечивать выполнение ключевых показателей качества (KPI) в мультиагентных рабочих процессах — с особым вниманием к точности вызова инструментов, безопасности распознавания намерений, структурированному форматированию вывода и точности извлечения контекста (RAG).
• Снижать и количественно оценивать системные риски: Проводить тщательный анализ сбоев и галлюцинаций в продуктивных результатах. Внедрять структурированные паттерны LLM-as-Judge, метрики валидации и эвристики защитных ограничений, при этом активно обеспечивая отсутствие базового смещения в профилях судей.
• Обеспечивать контрольные точки оценки в CI/CD: Тесно сотрудничать с командами MLOps и бэкенд-разработки для интеграции автоматизированных тестовых контрольных точек в наши конвейеры развертывания, проактивно предотвращая регрессии или отклонения в поведении, достигающие продуктивных сред выполнения.
• Оптимизировать задержки и затраты: Регулярно анализировать эффективность шаблонов запросов, структур few-shot и выбор моделей (например, GPT, Claude, LLaMA), чтобы обеспечить высоко сбалансированное соотношение между пропускной способностью выполнения, задержкой менее секунды и затратами на вычисления платформы.

Кто вы

• Автоматизатор с хорошими знаниями данных: Вы обладаете крепкими основами программной инженерии и практическим опытом программирования на Python, что позволяет вам без труда создавать скрипты для пользовательских процедур оценки и выполнять запросы к многопользовательским базам данных.
• Аналитик с фокусом на ИИ: Вы понимаете, что тестирование недетерминированных LLM требует совершенно иного подхода, чем традиционный QA. У вас глубокая интуиция относительно поведения токенов, динамики извлечения, нюансов инженерии запросов и состояний сбоев.
• Радикально автономный и командный игрок: Вы не ждёте статичных технических спецификаций. Самостоятельно координируете синхронизации с руководителями ИИ, бэкенд-инженерами предметной области и заинтересованными сторонами продукта для выявления и устранения уязвимостей системы.
• Строго ориентированный на качество: Вы обладаете низким уровнем эго, но высокими стандартами стабильности системы. Вас глубоко волнует отделение рыночного хайпа от практических, измеримых производственных метрик.

Что вы получите взамен

Возможность реально влиять на продукт

Присоединяйтесь к нашему восходящему пути и развивайтесь вместе с нами. Мы предоставляем ресурсы и возможности для непрерывного личного и профессионального роста, давая вам возможность реально влиять на наш развивающийся продукт.

Работа в ЕС

Отправляйтесь в это захватывающее путешествие вместе с нами и наслаждайтесь гибкостью путешествий и работы удалённо или в гибридном формате по всей Европе.

Станьте держателем опционов на акции

Откройте в себе предпринимателя и согласуйте свои амбиции с нашими через нашу программу опционов на акции. Эта захватывающая возможность доступна каждому члену команды — от младших сотрудников до основателей.

Получите неизменную поддержку и заботу

Finom поддерживает вас на каждом шагу, воплощая нашу приверженность вашему благополучию и успеху, что отражается в нашей современной, дружелюбной и экологически сознательной корпоративной культуре. Мы предлагаем постоянную поддержку и заботу, чтобы ваш опыт работы в Finom был успешным и удовлетворяющим.

Программа Work & Swim

Погрузитесь в нашу эксклюзивную программу Work & Swim. Проведите месяц в комфортной корпоративной квартире на очаровательном Кипре. Это идеальная возможность найти идеальный баланс между работой и личной жизнью, наслаждаясь захватывающими видами Средиземного моря.

Заявление о равных возможностях

В Finom мы являемся работодателем с равными возможностями и ценим разнообразие в нашей компании. Мы приветствуем разнообразие и приглашаем к подаче заявок представителей всех слоёв общества. Мы не допускаем дискриминации по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, семейного положения, инвалидности или других юридически защищённых характеристик.

Мы можем использовать инструменты искусственного интеллекта (ИИ) для поддержки некоторых этапов процесса найма, таких как просмотр заявок, анализ резюме или оценка ответов и выявление потенциальных несоответствий или сигналов проверки в материалах заявок на основе доступной информации. Эти инструменты помогают нашей команде по подбору персонала, но не заменяют человеческое суждение. Окончательные решения о найме принимаются людьми. Если вы хотите получить дополнительную информацию о том, как обрабатываются ваши данные, пожалуйста, свяжитесь с нами.