Руководитель группы Data Engineering

В команду Uzum Avto ищем Data Engineering Team Lead, который поможет нам в развитии Data П​​​​​​​латформы ​​​​​​​
Чем предстоит заниматься :

• Развертывание и доступность аналитических данных, их своевременную доставку до BI системы.
• Развитие Data Quality направления
• Интеграцию со сторонними источниками данных
• Стабильность работы баз данных и платформ для ML задач.
• Стабильность оборудования (серверы).
• Стабильность аналитической базы данных, отсутствие ошибок, падений, достаточности ресурса для работы остальных подразделений аналитики.
• Постоянное хранение всех данных для возможности их переиспользования.
• Feature Storage: хранение всех данных в неизменном состоянии за каждый промежуток времени, для возможности их переиспользования при обучении ML моделей.
• Построение (при необходимости) инструментов рассылки сообщений по основным метрикам продукта

Мы ожидаем:

• Опыт развертывания и поддержки high-load аналитических баз данных (ClickHouse, Greenplum, Vertica или аналоги).
• Умение обеспечивать доступность и своевременность доставки данных до BI-систем (создание пайплайнов с гарантированной доставкой, SLA по свежести данных).
• Навыки администрирования серверного оборудования (понимание ресурсов, настройка производительности, мониторинг состояния железа).
• Опыт внедрения Data Quality-процессов (мониторинг целостности, валидация данных, автоматическое обнаружение аномалий).
• Экспертиза в обеспечении стабильности: отсутствие падений, ошибок запросов, проактивное управление ресурсами (чтобы аналитики не "падали" БД).

• Понимание концепции неизменяемого хранения (SLD / SCD Type 2) для переиспользования данных.

• Опыт построения Feature Store (или озера данных с версионированием по времени) для поддержки обучения ML-моделей.

• Глубокое знание озёр данных (MinIO, S3, HDFS) и форматов файлов (Parquet, Iceberg, Delta Lake).

• Опыт интеграции с внешними источниками (API, сторонние системы, CRM).

• · Умение строить инструменты оповещения (рассылки метрик продукта, алерты в Telegram/Slack).
• Опыт управления командой инженеров (от 3-х человек): найм, онбординг, постановка задач.
• Умение выстраивать процессы (код-ревью, CI/CD для ETL, документация).
• Навыки коммуникации с продуктовыми аналитиками и ML-инженерами — перевод их потребностей в технические задачи по инфраструктуре

Будет плюсом

• Опыт в e-com или маркетплейсах
• Знание Kafka
• Навыки настройки мониторинга (Prometheus + Grafana).
• Понимание основ ML-пайплайнов