ETL-разработчик

Требуется ETL-разработчик на проект.

Отрасль: госсектор

Дата старта проекта: в ближайшее время

Продолжительность проекта: от 3-4 месяцев (возможно продление)

Задача:

Проект — миграция аналитического блока федеральной системы на отечественную СУБД (импортозамещение, Arenadata Postgres/ADB6).

Нужно перенести действующие ETL-процессов (часть на Pentaho DI, часть уже на Airflow) со связки MSSQL / Vertica / PostgreSQL на целевой стек, сохранив трёхслойную архитектуру данных, без потери данных и функциональности. Реализовать тест-кейсы проверки качества данных и метрики для мониторинга пайплайнов.

Обязательные требования (Must Have):

• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям

• Опыт коммерческой разработки и сопровождения ETL/ELT-процессов от 3 лет

Продвинутый SQL:

• Написание и оптимизация сложных запросов (оконные функции, CTE, материализованные представления)

• Опыт работы с большими объёмами данных (partitioning, indexing, query plan analysis)

• Опыт работы с СУБД: PostgreSQL, MS SQL Server, Vertica

• Практический опыт с инструментами оркестрации и ETL/ELT (обязательно, целевой стек):

• Apache Airflow — не менее года практического опыта

• Программирование на Python (Pandas, Psycopg2, Airflow SDK)

• Pentaho Data Integration (Kettle) — опыт чтения/переноса существующих трансформаций (.ktr/.kjb) на Python/Airflow

• Опыт работы с Arenadata (ADPG и/или ADB6) либо другой отечественной СУБД из реестра (Postgres Pro, Jatoba и т.п.) — обязательно, целевая платформа проекта

• Обеспечение качества данных (Data Quality):

• Реализация валидации данных при загрузке (полнота, консистентность, соответствие формату)

• Сквозное логирование пайплайнов с детализацией по шагам, объёмам и ошибкам

• Механизмы error handling, retry logic, уведомлений

• Опыт миграции между СУБД / трёхслойных схем данных (staging/DDS/витрины)

• Понимание инкрементальных загрузок (delta, CDC), идемпотентности пайплайнов, обработки SCD

• Готовность работать в команде заказчика, следовать внутренним процессам и методологиям

• Навыки коммуникации и работы в распределённых командах

Желательные требования:

• Опыт проектов по импортозамещению СУБД в госсекторе
• Знание принципов Data Vault 2.0 / Kimball (dimensional modeling)
• Навыки настройки мониторинга пайплайнов (Grafana/Prometheus, алертинг)
• Опыт работы с большими объёмами данных в высоконагруженных системах (300 000+ пользователей, десятки млн записей/день)