НСИС (Национальная страховая информационная система) - это ядро страхового рынка. Мы - 100% дочерняя компания Центрального банка РФ.
Через нас проходит все: ОСАГО, КАСКО, ДСАГО, страхование жилья, ДМС. Мы - центральный узел, который обеспечивает работу страхования в стране. Если мы остановимся - страхование остановится.
У нас highload-система, микросервисная архитектура из более чем 100 приложений, SLA доступности - 99,95% (чуть больше 4 часов в год на простои, и то не одномоментно). Интегрируемся с такими контрагентами как ГИБДД, РСА, Минцифры, МВД, Госуслуги, работаем на стыке бизнеса, госрегуляторов и технологий. И да, мы также реализуем и коммерческие продукты.
Сейчас мы в поиске Разработчика корпоративного аналитического хранилища данных (Senior DWH Developer)
Вам предстоит:
- Разработка нового и развитие существующего функционала корпоративного аналитического хранилища данных на базе PostgreSQL + ClickHouse;
- Оптимизация, рефакторинг и сопровождение существующих решений;
- Проектирование, разработка и сопровождение ETL/ELT-процессов загрузки, трансформации и обработки данных, реализация бизнес-логики аналитического хранилища, разработка механизмов контроля качества данных;
- Анализ требований бизнес-заказчиков, исследование источников данных и участие в проектировании моделей данных;
- Участие в разработке архитектурных решений корпоративного хранилища данных, выборе технологий и инструментов ETL/DWH;
- Подготовка архитектурной, технической и эксплуатационной документации, документирование ETL/ELT-процессов и реализованных технических решений;
- Взаимодействие с командами разработки, аналитики, тестирования и эксплуатации при реализации проектов;
- Участие в выводе решений в промышленную эксплуатацию, приемо-сдаточных и нагрузочных испытаниях.
Для этого Вам потребуется:
- Опыт разработки корпоративных аналитических хранилищ и ETL/ELT-процессов на PostgreSQL от 3 лет;
- Опыт разработки аналитических витрин на ClickHouse от 2 лет;
- Опыт проектирования слоев DWH: Staging, ODS, детальный слой и витрины данных;
- Практический опыт разработки ETL/ELT-процессов; преимуществом будет опыт работы с промышленными ETL/ELT-платформами и инструментами интеграции данных (Apache Hop, Pentaho Data Integration, Oracle Data Integrator и т.п.);
- Опыт реализации инкрементальных загрузок: CDC, Delta, SCD Type 2, обработка поздно поступающих данных;
- Понимание подходов Data Vault, Kimball и Anchor Modeling;
- Экспертное знание SQL и PL/pgSQL, внутреннего устройства PostgreSQL и методов оптимизации запросов и производительности;
- Уверенное знание ClickHouse: колоночное хранение, семейство MergeTree, фоновые слияния и выбор движка под задачу;
- Уверенное владение Python, опыт разработки надежных загрузчиков с логированием, обработкой ошибок и retry-механизмами;
- Практический опыт разработки DAG в Apache Airflow, понимание Scheduler, Executor, Hooks, Operators, Sensors, передачи параметров и идемпотентности задач;
- Понимание принципов работы и областей применения реляционных и колоночных СУБД, MPP-платформ, in-memory СУБД, Data Lake и SQL движков;
- Опыт работы с Git, Jira, Confluence и инструментами CI/CD, включая Jenkins, GitLab CI и Liquibase;
- Знание современных подходов к разработке, тестированию и документированию DWH;
- Опыт работы по Agile/Scrum или Waterfall.
Soft skills:
Управленческие способности
Аналитическое мышление
Внимательность к деталям
Умение работать с документацией
Коммуникабельность
Способность работать в команде
Архитектурные навыки:
Проектирование архитектуры DWH
Создание стратегии развития DWH
Работа у нас:
- Оформление согласно ТК РФ;
- Уровень дохода обсуждается с успешным кандидатом (ЗП "белая") + премия по результатам работы;
- График 5\2, гибкое начало, в пятницу сокращенный день;
- Офисный, Удаленный или Гибридный формат работы;
- Расширенный пакет ДМС (стоматолог, психолог, телемедицина);
- Постоянное профессиональное внешнее и внутреннее обучение;
- Возможность участвовать в масштабных и разнообразных проектах;
- Насыщенная корпоративная культура (праздники, подарки, различные активности по интересам);
- Удобный и современный офис с зонами отдыха в центре Москвы (2 минуты от м. Павелецкая).
