Data Engineer (Oracle/Hadoop)

О проекте: Сейчас мы находимся в поисках Data Engineer (Oracle/Hadoop) в команду, которая занимается полным циклом внедрения новых и развития существующих математических моделей (AI/ML моделей).

Наш стек: Мы все работаем на современной ML-платформе. Используем Python, PySpark, SQL, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей.

Наша команда: 15 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

• Построение и доработка хранилищ данных продукта КАСКО
• Настройка существующих и разработка новых потоков данных для сложных высоконагруженных систем
• Сборка, проработка и восстановление логики, очистка данных и защита их перед бизнес заказчиком
• Создавать и внедрять эффективные инструменты для работы с данными data команды: аналитиков и DS
• Поиск неэффективностей и предложение решений по замене рутинных процессов на современные решения

Что мы ждем:

• Опыт в направлении от 3 лет;
• Опыт работы с Oracle и Hadoop / S3 / HDFS
• Опыт в построении или валидации DWH
• Знание, где лучше ETL, а где лучше ELT
• Знание Python

Будет плюсом:

• Опыт работы с claude code и другими подобными языковыми моделями и опыт применения их в реальных кейсах
• Будет плюсом знание других языков программирования