Ищем Data Engineer для создания витрин данных и интеграции с ML-моделью подбора тарифов. Работа с корпоративными источниками, хранилищами (HDFS, Hive, GreenPlum, реляционные СУБД), построение пайплайнов и подготовка признаков для рекомендательной системы.
Обязанности:
- Разработка, тестирование и оптимизация процессов сбора, предобработки, агрегации и трансформации данных в аналитические витрины.
- Создание и мониторинг регулярных пайплайнов в Apache Airflow для расчёта признаков абонентов (трафик, начисления, ARPU, услуги, тарифы).
- Разработка и оптимизация Spark-приложений на Scala для пакетной обработки данных и подготовки фичей для ML-модели.
- Реализация контура обратной связи (feedback loop) для рекомендательной системы: сбор, валидация и передача откликов абонентов в ML-модель.
- Интеграция со смежными сервисами и API: отказоустойчивость, логирование, контроль таймаутов, мониторинг качества данных.
- Оптимизация производительности: партиционирование, профилирование, управление памятью и ресурсами кластера.
- Покрытие кода тестами, документирование витрин (DDL, Data Dictionary) и ETL-процессов в Confluence.
Требования:
- Опыт в роли Data Engineer — от 1.5 до 2 лет.
Apache Spark:
- Опыт разработки на Scala — от 1.5 лет.
- Понимание архитектуры Spark (driver, executor, стадии, shuffling, data locality).
- DataFrames/Datasets API, Spark SQL.
- Форматы: Parquet, ORC, Avro, JSON, CSV. Чтение/запись в HDFS, Hive, JDBC.
- Оптимизация: partitioning, repartition/coalesce, broadcast variables, accumulators, cache/persist.
- Профилирование через Spark UI и логи Yarn.
Scala:
- Коллекции (List, Seq, Map, Set), функции высшего порядка (map, flatMap, filter, foldLeft).
- ООП и ФП: traits, case classes, tuples, pattern matching, Option/Either/Try.
- Сборка: sbt или maven (assembly / fat-jar).
Apache Airflow:
- Разработка и документирование production DAG.
- Расписание (schedule_interval, cron), catchup, depends_on_past.
- Операторы: SparkSubmitOperator, PythonOperator, BashOperator.
- Variables, Connections, XCom, сенсоры, макросы, Trigger Rules.
Python:
- Уверенное владение (PEP8, ООП, модули, virtualenv).
- Модульные тесты (pytest, unittest).
- Web-API: RESTful API, requests/aiohttp, JSON, обработка ошибок и таймаутов.
SQL и хранилища:
- Продвинутый SQL: JOIN (inner, left, full, semi/anti), оконные функции (ROW_NUMBER, DENSE_RANK, LEAD, LAG), CTE, подзапросы.
- Проектирование таблиц, партиционирование, индексы, View / Materialized View.
- Понимание HDFS и Hive.
Linux и CI/CD: - Linux/Bash (навигация, поиск, логи).
Мы предлагаем:
-
Полностью удалённую работу.
-
Гибкий график — вы самостоятельно управляете своим рабочим временем.
-
Оформление по договору B2B (как ИП или самозанятый).
-
Корпоративные курсы английского языка для профессионального роста.
-
3 оплачиваемых больничных дня в год.
-
Культуру, основанную на доверии и самостоятельности, без микроменеджмента и излишней бюрократии.
- Git (ветки, merge requests), базовое понимание Docker.
