ФАУ НИА — оператор ФГИС Росаккредитации, занимающийся разработкой информационных систем, обработкой данных, научными исследованиями, издательской деятельностью и продвижением стандартов оценки соответствия.
Мы развиваем экосистему работы с данными и ищем эксперта, который умеет превращать хаос legacy-структур в стройную архитектуру. Нам нужен человек, готовый погрузиться в недра ФГИС, восстановить скрытые связи и построить эффективные витрины данных для аналитиков и бизнеса.
Чем предстоит заниматься:
1. Анализ и документирование текущих структур данных
- Проведение реверс-инжиниринга баз данных ФГИС и корпоративного аналитического хранилища данных (DWH).
- Описание логических и физических моделей: таблиц, полей, типов данных, первичных и внешних ключей, существующих взаимосвязей.
- Выявление недокументированных полей и скрытых зависимостей между сущностями.
- Разработка и поддержка наглядных ER-диаграмм в нотациях Crow’s Foot, IDEF1X или UML с помощью draw.io, DBeaver, DataGrip или аналогичных инструментов.
- Создание карты источника (Source-to-Target Mapping): от сырых слоёв ФГИС до витрин аналитического хранилища.
2. Анализ и документирование потоков и механизмов движения данных
- Инвентаризация существующих скриптов загрузки: SQL, Python, bash, хранимые процедуры.
- Инвентаризация средств оркестрации и смежных инструментов: Apache Airflow, Yandex DataLens, MS SSIS, Cron, проприетарные системы ФГИС.
- Построение схем движения данных (Data Flow Diagrams, DFD): источники, этапы трансформаций — staging, ODS, DM, — конечные витрины и отчёты.
- Фиксация SLA потоков: периодичности, длительности и зависимостей между задачами.
- Формирование реестра и каталога данных с указанием бизнес-наименований, технических полей и восстановленных правил расчёта.
3. Проектирование и создание представлений и витрин данных
- Анализ требований аналитиков данных и бизнес-заказчиков к отчётности.
- Проектирование логических и физических моделей витрин данных: выбор гранулярности, состава полей и типов агрегаций.
- Реализация материализованных представлений и витрин данных на SQL с использованием DDL/DML с учётом производительности и стратегии обновления: инкрементальная загрузка, полная перезагрузка (full refresh).
- Документирование витрин: источники, правила расчёта и периодичность обновления.
- Оптимизация витрин: индексы, партиционирование, вакуумирование, анализ статистики.
4. Проектирование и разработка средств построения потоков данных
- Разработка, рефакторинг и поддержка скриптов загрузки: SQL-пайплайны, Python, bash, Spark-задания.
- Проектирование графов оркестрации (DAG) в Airflow или аналогичных инструментах: определение зависимостей, политик повторных попыток и алертов.
- Реализация пайплайнов для последовательной загрузки и очистки данных между слоями staging, ODS, DDS и DM.
- Внедрение SCD (Slowly Changing Dimensions) типов 1 и 2 при необходимости.
- Написание воспроизводимых и тестируемых скриптов с логированием и обработкой ошибок.
Мы ожидаем от тебя:
Опыт и технические навыки
- Опыт работы с реляционными базами данных: PostgreSQL, Oracle, MS SQL, MySQL.
- Глубокое знание системных каталогов и информационных схем, включая information_schema.
- Навыки профилирования запросов.
- Продвинутый уровень владения SQL: MERGE, оконные функции, CTE, сложные JOIN, написание запросов для анализа связей и генерации документации.
- Знание инструментов моделирования и визуализации: draw.io, DBeaver (ERD), DataGrip, dbdiagram.io, ER/Studio или PowerDesigner.
- Понимание принципов проектирования витрин данных и dimensional modeling по Кимбаллу, нормализации и денормализации, схем «звезда» и «снежинка».
- Умение переводить требования аналитиков в физическую схему витрины.
- Опыт разработки ETL/ELT-процессов на SQL, Python и bash.
- Понимание паттернов инкрементальной загрузки и SCD.
- Опыт работы с Apache Airflow или аналогичными инструментами: Prefect, Dagster, SSIS.
- Умение писать DAG и задачи, использовать операторы и настраивать сенсоры.
- Опыт создания качественной технической документации с примерами SQL и кода.
Личные качества
- Педантичность и системное мышление, необходимые для описания хаотичных legacy-структур.
- Умение превращать сотни таблиц в одну понятную схему.
- Коммуникабельность и готовность выяснять требования у аналитиков и разработчиков ФГИС.
Будет преимуществом
- Опыт работы со спецификой ФГИС: системами ФНС, ФТС, ЕГАИС, «Честный ЗНАК», ГИС ЖКХ или другими государственными информационными системами.
- Знание типовых особенностей обмена данными в государственных информационных системах.
- Навыки написания Python-скриптов для автоматизации сбора метаданных и выгрузки схем в Confluence или Excel.
- Опыт использования Data Catalog: DataHub, OpenMetaData, Collibra, Amundsen.
- Опыт работы с dbt (data build tool), трансформациями и управлением витринами через dbt.
- Понимание Data Vault 2.0 или Anchor Modeling, а также продвинутых моделей для промежуточных слоёв.
- Навыки тестирования пайплайнов: написание unit-тестов для проверки количества записей, уникальности ключей и отсутствия дублей.
- Навыки профилирования производительности и поиска узких мест в загрузке на стороне источника или хранилища.
- Опыт работы с Jupyter или Zeppelin для демонстрации аналитикам примеров связей между таблицами.
Мы предлагаем:
- Работу в офисе класса "А" БЦ Павелецкая плаза (в шаговой доступности от метро)
- Официальное трудоустройство и полностью белая заработная плата
- График работы 5/2 с 09.00 до 18.00 (в пятницу до 17.30)
- Комфортный формат работы (офис на испытательном сроке, гибрид на основном)
- Конкурентный уровень дохода (обсуждается с успешным кандидатом по итогам интервью)
- Премии (ежемесячные, квартальные, годовые)
- Социальные и иные гарантии, предусмотренные ТК РФ
- Возможность самореализации в надежной и стабильной компании
Будем очень рады видеть в своей команде активного, открытого, честного, ответственного и позитивного будущего коллегу. С нетерпением ждем отклик!
