Data Engineer (Python + Spark)

Стек

Гибкий график, Удалённая работа, Официальное оформление, Обучение за счёт компании, ДМС со стоматологией, Премии 2 раза в год

Обязанности

В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки.

🔹 Задача

Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике

• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)

• Настраивать хранение и доступность данных в DWH

• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари

• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей

• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Условия работы

• Официальное оформление с белой ЗП, полугодовые премии по результатам работы;
• Удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
• Гибкий график работы (с 8/9/10 утра) / График работы: 5/2, с 9:00 до 18:15 (в пятницу — до 17:00);
• Возможность работать удалённо или в гибридном формате;
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
• Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
• Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
• Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
• Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge.

Профессиональные навыки

Наш стек

• PySpark{2,3} / Spark SQL

• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum

• Airflow

• Python3

• Docker, YARN / k8s

• pytest

Поможем в обучении и развитии

Научим круто рассказывать

о том, что ты делаешь

• Внутренняя школа спикеров и авторов
• Возможность участвовать в крупнейших
  конференциях страны и прокачать
  личный бренд

Вместе прокачаем харды и софты

• Корпоративный университет, онлайн-библиотека,
  программы развития управленческих навыков
• Дистанционные курсы на образовательных
  платформах
• Тренинги, митапы и вебинары

Предоставим не просто социальный пакет, а пакет с пакетами

Наградим плюшками передовой
компании

• Удалённый или в гибридный формат работы
• Премии по результатам работы

Позаботимся о здоровье

• Широкий пакет ДМС со стоматологией
• Онлайн-психотерапия от «Ясно»

Поделимся скидками сотрудника

«Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок», а также программа привилегий Prime-zone

Покажем, насколько яркой может быть корпоративная жизнь

Организуем встречи
с топ-менеджментом: слышим
и открыто делимся планами
и результатами

Поощряем активность
сотрудников

За участие в жизни компании награждаем ачивками и баллами, на которые можно купить классный мерч

Развиваем корпоративные
сообщества

Технические, лайфстайл, спортивные или все сразу? Выбирать тебе!

Творим добро

Организовываем благотворительные ярмарки, выезжаем в приюты и устраиваем субботники

Помогаем реализовываться

Корпоративное предпринимательство X5 Idea Challenge

Устраиваем масштабные праздники

Корпоративы, день рождения компании, новый год, день IT-специалиста, день спасибо.

Отклик на вакансию

Понравилась вакансия?

Поделиться вакансией

Наш сайт использует кукис, чтобы все работало.

Данный сайт использует файлы-cookies, а также другие технологии для улучшения работы, совершенствования сервисов, определения пользовательских предпочтений и обеспечения безопасности. Продолжая работу с сайтом, Вы даете согласие на обработку файлов-cookies в соответствии с Политикой в отношении обработки персональных данных. При несогласии Вы можете отключить обработку файлов-cookies в настройках Вашего браузера или закрыть страницу сайта