Приглашаем Data Engineer присоединиться к проекту миграции BI-отчетности с Microsoft Power BI на Yandex DataLens.
Предстоит построить новый контур хранения и обработки данных: организовать загрузку данных из Microsoft SQL Server в ClickHouse, автоматизировать ETL/ELT-процессы, подготовить витрины данных для новой BI-платформы и обеспечить соответствие показателей существующей отчетности.
Если вам интересно строить современные хранилища данных, работать с ClickHouse и участвовать в масштабной миграции BI-платформы — будем рады познакомиться.
Чем предстоит заниматься - Разрабатывать ETL/ELT-процессы для загрузки данных из Microsoft SQL Server в ClickHouse.
- Проектировать и реализовывать многослойное хранилище данных (Raw → Core → Data Mart).
- Разрабатывать SQL-скрипты для преобразования и подготовки данных.
- Создавать Python-компоненты для интеграции и обработки данных.
- Разрабатывать и сопровождать DAG в Apache Airflow.
- Оптимизировать производительность ClickHouse (структуры таблиц, партиционирование, запросы).
- Настраивать инкрементальные загрузки, обработку ошибок, повторные запуски и мониторинг ETL-процессов.
- Подготавливать витрины данных для построения отчетности в Yandex DataLens.
- Анализировать существующую логику Power BI и участвовать в переносе расчетов на уровень хранилища данных.
- Проводить сверку данных между исходной и новой BI-системами.
Мы ожидаем - Опыт работы Data Engineer от 4 лет.
- Отличное знание SQL.
- Практический опыт работы с ClickHouse.
- Опыт разработки ETL/ELT-процессов.
- Хорошее знание Python для обработки и интеграции данных.
- Опыт работы с Apache Airflow (разработка DAG, зависимости, мониторинг).
- Опыт работы с Microsoft SQL Server.
- Понимание принципов построения DWH (Raw, Core, Data Mart).
- Опыт реализации инкрементальных загрузок.
- Опыт работы с Git.
Будет плюсом - Yandex Cloud.
- Yandex Data Transfer.
- Yandex DataLens.
- Power BI.
- Power Query.
- DAX.
- Опыт миграции BI-отчетности.
- Опыт работы с большими объемами данных.
Условия:
- B2B Контракт, ИП.
- Гибкий график
- Корпоративные курсы английского
- 3 оплачиваемых sick day в год
- Профессиональный рост и развитие в сильной команде
- Современный стек и выстроенные процессы
- Долгосрочное сотрудничество
