Digital Сhief- это дочерняя компания Альфа-банка, которой уже более 20 лет.
Компания специализируется на e-commerce разработке полного цикла: интернет-магазины, web-порталы, личные кабинеты, маркетплейсы, платформы электронной коммерции.
Сейчас мы находимся в поиске инженера по данным в команду Whoisblogger (WIB) c коммерческим опытом от 2-х лет.
Обязанности:
- Разработка DAG'ов в Apache Airflow для автоматизации процессов обработки данных
- Написание SQL запросов для ETL/ELT процессов на Trino
- Написание ETL/ELT-скриптов на Python
- Интеграция с различными источниками данных: API, БД (PostgreSQL, ClickHouse, Trino), Kafka, S3
- Очистка, трансформация и агрегация данных
- Мониторинг и поддержка пайплайнов, обработка ошибок и алертинг
- Оптимизация производительности загрузок и запросов
- Работа с хранилищами данных и Data Lake
Мы рассматриваем SQL как основной рабочий инструмент Data Engineer.
Важно:
- уверенное владение SQL
- понимание оконных функций
- сложные JOIN’ы
- агрегаты и аналитические запросы
- оптимизация запросов
- понимание особенностей распределённых вычислений
- опыт работы с большими таблицами и объёмами данных
Python
- уверенное владение Python
- написание поддерживаемого кода
- работа с API, файлами и обработкой данных
- понимание принципов построения ETL-процессов
Airflow
- разработка и поддержка DAG’ов
- понимание orchestration-процессов
- мониторинг и диагностика пайплайнов
- работа с зависимостями и расписаниями
Будет плюсом:
- опыт работы с Trino / Presto
- ClickHouse
- Spark
- опыт построения data warehouse
- опыт работы с данными социальных сетей
- опыт оптимизации распределенных SQL-запросов
- понимание Data Quality и Data Governance
Что мы предлагаем:
- Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
- Полностью удаленный формат (график с 10.00 до 19.00 по мск, суббота и воскресенье-выходные дни)
-
Возможность работать в современной команде, используя современный стек технологий
-
Дружелюбная атмосфера и команда лучших профессионалов, которые готовы поддерживать на всех уровнях
- Официальное трудоустройство по ТК РФ
- Работа в аккредитованной IT компании