Обязательные требования:
- Опыт работы с данными не менее 4 лет (middle+), 6 лет (senior);
- Глубокое понимание реляционных БД: структура данных, методы загрузки и управления;
- Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД;
- Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH;
- Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение;
- Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем;
- Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных;
- Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками;
- Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований;
- Навыки создания и поддержки ETL/ELT конвейеров;
- Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt (❗️);
- Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;
- Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания;
- Владение навыками документирования процессов и работы с технической документацией;
❗️ Практический опыт работы с технологиями:
- язык программирования: Python
- объектное хранилище: S3
- стриминг данных: Kafka
- реляционные СУБД: Postgres, MSSQL
- NoSQL: MongoDB
- аналитическая СУБД: Clickhouse;
Будет плюсом:
- Знание систем контроля версий (Git), контейнеризации (Docker);
- Опыт работы на проектах в компаниях финтех.
Soft-skills:
- Способность работать в кросс-функциональной команде
- Понимание бизнес-задач
- Внимательность к деталям и ответственность за результат
- Способность четко формулировать мысли
- Умение расставлять приоритеты
- Самоорганизация и проактивность в решении технических и организационных вопросов
Задачи:
- Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций; (хорошо, если будут задачи у специалиста с работой по легаси)
- Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище;
- Разработка и поддержка моделей данных и трансформаций в dbt для формирования конечных витрин;
- Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов; (хорошо, чтобы было расписано, что делал в airflow)
- Обеспечение качества, тестирование данных и их целостности при миграции и трансформации;
- Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности;
- Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.
