Дата инженер/Data Engineer

Rossko - российская компания, основанная в 1997 году. Мы занимаемся производством и дистрибуцией автозапчастей.

Мы работаем в России, Казахстане и уже сотрудничаем с Эмиратами. Наши объекты находятся в 114 городах, включая 4 крупных дистрибуционных центра и более 130 магазинов-складов.

ИТ-направление – это сердце нашей компании, в котором более 200 специалистов. Мы развиваем и поддерживаем 37 ИТ-продуктов в сфере финансов, логистики, продаж, управление товарными запасами и поддержке станций техобслуживания. У нас 5 дата-центров, более 1000 виртуальных серверов и более 30 Tb оперативной памяти.

Для наших ИТ-специалистов мы создали аккредитованное в Минцифры юрлицо "Блэклайт", чтобы наши сотрудники получали все льготы ИТ-компаний.

Сейчас в поисках Дата Инженера в команду розничного направления.

Вам предстоит:

1. Разработка и поддержка ETL-процессов

- Проектирование, разработка и оптимизация пайплайнов для загрузки, трансформации и выгрузки данных

- Поддержка существующих процессов, устранение сбоев и оптимизация времени обработки

- Интеграция данных из внутренних и внешних источников (API, базы данных, сервисы)

2. Обеспечение качества и надёжности данных

Настройка автоматических проверок качества данных (data quality checks)

Контроль полноты и актуальности загружаемых данных

Реагирование на инциденты, связанных с данными, и оперативное восстановление пайплайнов

3. Мониторинг и алертинг

Настройка системы мониторинга (например, с использованием Airflow, Grafana, Metabase или аналогов)

Конфигурация алертов при сбоях, задержках или отклонениях в данных

Анализ логов и метрик для предупреждения сбоев

4. Подготовка и поддержка витрин данных

Создание и обновление витрин данных для аналитиков и бизнес-подразделений

Работа совместно с аналитиками над требованиями к витринам и источникам данных

Оптимизация запросов и структур данных для ускорения аналитических выборок

5. Документация и взаимодействие с командой

Документирование всех ключевых пайплайнов, витрин и интеграций

Взаимодействие с разработчиками, аналитиками и бизнесом для согласования требований к данным

Мы ожидаем от Вас знаний:

• Языки и технологии: Python (основы, ООП, работа с библиотеками для обработки данных, например pandas), SQL, особенности работы с ClickHouse

• ETL и DWH: принципы построения и архитектуры хранилищ данных, нормальные формы, особенности распределённой обработки данных

• Оркестрация: базовые принципы работы Apache Airflow, настройка пайплайнов через Python-операторы, понимание дефолтного сетапа

• Интеграции и API: как забирать данные через API, обработка ответов, базовое понимание работы с RabbitMQ

• Хранилища данных: текущее использование Elasticsearch (базовые знания, без глубокого погружения), понимание концепции хранения сырых данных в S3

• ОС и инфраструктура: основы работы в Ubuntu / Linux, умения для локального тестирования и развертывания (ClickHouse, Elasticsearch, Airflow)

• Архитектура и производительность: понимание, как работают движки баз данных, особенности вставки и обработки данных

Вас ждет:

Комфорт:

• удаленный режим работы и гибкий график;

• полный онбординг за 3 месяца;

• работаем по Kanban, SDM поможет выстроить работу и быстро достичь результата.

Забота:

• соблюдаем баланс жизни и работы, мы не следим за нашими сотрудниками по таймерам, для нас важна атмосфера доверия и результат

• заработная плата “белая”, трудоустраиваем с первого дня;

• скидки на продукцию компании;

• ДМС через полгода работы;

• предоставим технику для работы при необходимости.

Развитие:

• оплачиваем профессиональное обучение, при желании и необходимости;

• ценим новые идеи, учитываем каждое мнение, ведь мы любим быть новаторами технологий;

• у нас нет бюрократической составляющей при выводе разработок в продакшн.