разработка и настройка механизмов для автоматизированного сбора данных для целей контроля моделей машинного обучения;
обеспечение корректности и полноты сбора данных, а также оптимизация процессов разработки и внедрения с применением оптимизационных механизмов;
разработка пайплайнов для предобработки данных и преобразование их в форматы, оптимальные для дальнейшего хранения, обработки и использования в аналитических задачах;
проектирование и реализация способов хранения и внедрения результатов во внутреннее хранилище с целью последующей аналитики;
применение современных инструментов для улучшения результатов работы, а также сопровождение внедренных решений в промышленную эксплуатацию;
интерпретация результатов работы моделей и проверок качества данных для выявления эффективных триггеров для бизнеса.
Требования:
высшее техническое или финансово-математическое образование;
продвинутый уровень владения Python, SQL;
опыт работы с PySpark и оркестраторами AirFlow;
умение создавать продвинутые аналитические решения на базе имеющихся данных;
опыт реализации практических задач в технологии Apache Superset;
опыт самостоятельного ведения задачи от бизнес-требований до представления заказчику;
опыт работы с результатами инструментов, построенных на базе машинного обучения.
