Приглашаем на проект Data-аналитика (DWH)
Мы Digital-студия SaltWort, занимаемся разработкой, автоматизацией, сопровождением и продвижением как для небольших компаний, так и для гигантов отрасли.
Сейчас активно развиваем направление аутстаффинга, так как у нас значительно выросло количество клиентов и партнёров среди крупных компаний РФ.
О проекте: Компания работает в области инвестиционного анализа (акции, облигации, индексы, рынки и компании). Разрабатывает новый и без преувеличения инновационный цифровой продукт для российского рынка, который предоставляет инструменты анализа ценных бумаг и финансовых показателей публичных компаний, с целью принятия взвешенных инвестиционных решений для профессиональных участников рынка.
Основные задачи:
- Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций (что угодно по легаси+)
- Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище
- Разработка и поддержка моделей данных и трансформаций в dbt для формирования конечных витрин
- Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов; (хорошо, чтобы было расписано, что делал в airflow)
- Обеспечение качества, тестирование данных и их целостности при миграции и трансформации
- Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности
- Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени
Ожидания:
- Опыт работы с данными не менее 4 лет (middle+), 6 лет (senior)
- Глубокое понимание реляционных БД: структура данных, методы загрузки и управления
- Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД
- Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH
- Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение
- Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем
- Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных
- Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками
- Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований
- Навыки создания и поддержки ETL/ELT конвейеров
- Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt
- Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач
- Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания
- Владение навыками документирования процессов и работы с технической документацией
Практический опыт работы с технологиями:
- Язык программирования: Python
- Объектное хранилище: S3
- Стриминг данных: Kafka
- Реляционные СУБД: Postgres, MSSQL
- NoSQL: MongoDB
- Аналитическая СУБД: Clickhouse
Будет плюсом:
- Знание систем контроля версий (Git), контейнеризации (Docker)
- Опыт работы на проектах в компаниях финтех
Soft-skills:
- Способность работать в кросс-функциональной команде
- Понимание бизнес-задач
- Внимательность к деталям и ответственность за результат
- Способность четко формулировать мысли
- Умение расставлять приоритеты
- Самоорганизация и проактивность в решении технических и организационных вопросов
Условия:
