О компании
«Финтехсервис» — один из крупнейших поставщиков трафика на рынке спортивной и финансовой лидогенерации. Мы стремимся к масштабированию, осваиваем новые сегменты рынка лидогенерации и активно работаем с большими данными: разрабатываем новые инструменты и запускаем перспективные проекты.
В данный момент ищем опытного Data Engineer для построения и поддержки надёжных, масштабируемых решений по работе с данными. Вы будете участвовать в создании ETL‑процессов, проектировании хранилищ данных и обеспечении их качества — и всё это в динамично развивающейся финтех‑среде.
Что предстоит делать:
- разрабатывать и оптимизировать сложные SQL‑запросы в PostgreSQL (с использованием оконных функций: ROW_NUMBER, RANK, LAG/LEAD, SUM OVER);
- создавать хранимые процедуры и функции на PL/pgSQL, триггеры для автоматической валидации, аудита или агрегации данных;
- проектировать и настраивать партиционирование (Range, List, Hash) и анализировать планы запросов через EXPLAIN ANALYZE;
- разрабатывать DAG в Apache Airflow: определять зависимости между тасками, использовать PythonOperator, PostgresOperator, BranchPythonOperator, работать с XCom и Variables;
- писать ETL‑скрипты на Python (с применением pandas, sqlalchemy), обрабатывать данные в форматах CSV, JSON, Parquet;
- настраивать ETL/ELT‑конвейеры, включая инкрементальную загрузку (по дате, watermark, change log) и оптимизацию работы с большими объёмами данных (чанкинг, пагинация, курсоры);
- проектировать реляционные базы данных для хранилищ (нормализованные модели 3NF, денормализованные модели «звезда» и «снежинка»), таблицы фактов и измерений, применять SCD Type 1 и Type 2;
- контролировать качество данных: писать SQL‑проверки на уникальность ключей, отсутствие NULL в критичных полях, статистические отклонения метрик и интегрировать их в пайплайны;
- работать с Apache Superset: подключать БД, создавать датасеты и визуализации, компоновать интерактивные дашборды, использовать SQL Lab для ad‑hoc‑исследований;
- контейнеризировать приложения с помощью Docker, при необходимости — знакомиться с Kubernetes;
- работать с потоковой обработкой данных: Apache Kafka (создание топиков, продюсирование и консьюминг сообщений), CDC‑подходом и инструментами типа Debezium;
- внедрять принципы DataOps и CI/CD: настраивать пайплайны для кода и конфигураций (GitHub Actions, GitLab CI или Jenkins), запускать линтеры (flake8, pylint) и тесты (pytest);
- вести версионирование и совместную разработку с использованием Git (ветвление, Pull Request, разрешение конфликтов, rebase);
- настраивать логирование в пайплайнах и работать с системами мониторинга (Prometheus + Grafana или ELK‑стек) для отслеживания статуса DAG, времени выполнения задач, загрузки БД.
Мы ждём, что вы:
- уверенно владеете PostgreSQL и умеете писать сложные запросы с оконными функциями;
- имеете опыт разработки DAG в Apache Airflow и настройки повторных попыток, задержек и алертов;
- владеете Python на уровне, достаточном для написания ETL‑скриптов (работа с pandas, sqlalchemy, понимание ООП, декораторов, контекстных менеджеров, генераторов);
- обладаете практическим опытом настройки ETL/ELT‑конвейеров и оптимизации работы с большими объёмами данных;
- умеете проектировать реляционные БД в контексте хранилищ и документировать схемы (Data Dictionary);
- знаете принципы контроля качества данных и умеете интегрировать проверки в пайплайн;
- работали с Apache Superset (подключение БД, создание датасетов, построение визуализаций, компоновка дашбордов);
- имеете базовые навыки работы с Docker (написание Dockerfile, сборка образов, запуск контейнеров, работа с docker‑compose);
- понимаете концепцию очередей сообщений и имеете опыт работы с Apache Kafka;
- знакомы с принципами DataOps и имеете опыт настройки CI/CD‑пайплайнов;
- уверенно владеете Git и ведёте Code Review;
- имеете базовый опыт работы с системами мониторинга и понимаете концепцию Data Observability.
Мы предлагаем:
- интересную работу в динамично развивающейся компании на стыке финансов и технологий;
- возможность влиять на архитектуру данных и внедрять современные решения;
- конкурентную заработную плату (обсуждается на собеседовании);
- официальное оформление по ТК РФ;
- профессиональное развитие: доступ к обучающим ресурсам, участие в профильных конференциях и митапах;
- сплочённую команду профессионалов, готовую делиться опытом и поддерживать новые идеи.
- горячие обеды, кофе и снеки
