Senior Data Engineer

О нас

Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая AI, нормативных и регуляторных требований.

Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений.

За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес.

Как построена работа

Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы.

Процессы у нас построены на принципах agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия.

О команде

Команда Rusprofile — это 40+ человек:

• основатель Дмитрий Стрелков, который когда-то заканчивал факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, все также управляет бизнесом;

• наша команда разработки состоит из 27 человек: двух инженеров по инфраструктуре, 17 разработчиков, а также 6 тестировщиков и двух дата-инженеров;

• бизнес-ориентированная команда продукта: продакт-менеджеры, продуктовый аналитик и дизайнеры продукта.

Сейчас в Data Engineering два человека. Мы усиливаем это направление, чтобы построить полноценную платформу данных.

Команда Data Engineering:

• обеспечивает единый источник правды по данным в компании для аналитики;

• строит и развивает платформу данных (хранилище, витрины, ingestion, трансформации);

• проектирует и поддерживает архитектуру обработки и хранения данных для анали;

• отвечает за стабильность, воспроизводимость и масштабируемость пайплайнов;

• выстраивает системный контроль качества данных.

Мы создаем прозрачную и масштабируемую систему данных, которая поддерживает рост продукта и позволяет бизнесу принимать решения на основе достоверной информации.

Про наш стэк: DBT, Dagster, DataHub, ClickHouse, MySQL, Kafka, Kubernetes, GitLab, Snowplow, GrowthBook.

Что ты будешь делать

Твоим руководителем будет Lead команды Data Engineering, а основными стейкхолдерами — продуктовый аналитик и продуктовая команда.

Наша цель — построение и развитие аналитического хранилища данных и витрин для продуктовой аналитики и BI.

Твоя зона ответственности — развитие и поддержка аналитического контура данных, чтобы он был масштабируемым, управляемым и устойчивым к изменениям.

Твои задачи будут включать:

1. Развитие аналитического слоя DWH

• Загрузка и обработка событий (Snowplow) и биллинга;

• Формирование детального слоя хранилища данных;

• Построение витрин для:

  • продаж,

  • воронки,

  • регистраций,

  • MRR,

  • экспериментов;

• Написание кода формирования аналитических витрин.

2. Развитие dbt-проекта

• Переписывание существующих DAG в dbt;

• Развитие структуры и логики dbt-проекта;

• Оптимизация моделей;

• Обеспечение воспроизводимости и прозрачности трансформаций.

3. Качество и устойчивость данных

• Контроль качества данных;

• Поддержка и развитие проверок;

• Обеспечение корректности и консистентности аналитических моделей;

• Поддержка Superset-дашбордов со стороны данных.

4. Взаимодействие с продуктовой аналитикой

• Помощь продуктовым аналитикам в работе с витринами;

• Погружение в процессы формирования метрик;

• Развитие моделей данных под потребности аналитики и продукта.

Ты станешь частью команды Data Engineering, которая строит и развивает аналитическую платформу данных и обеспечивает единый источник правды для бизнеса. Предстоит плотное взаимодействие с аналитикой и продуктом, чтобы данные были встроены в принятие ключевых бизнес-решений.

Как понять что ты подойдешь

• Опыт работы от 3 лет в роли Analytics Engineer / Product Data Engineer;

• Глубокое знание SQL и практический опыт оптимизации запросов;

• Уверенное владение Python;

• Опыт построения ETL / ELT-пайплайнов и их сопровождения;

• Опыт data modeling (проектирование детального слоя DWH и аналитических витрин);

• Понимание принципов data quality, обеспечения надежности данных и data lineage;

• Опыт работы с аналитическими СУБД (желательно ClickHouse или аналогами);

• Понимание устройства реляционных и нереляционных баз данных;

• Навыки мониторинга и отладки пайплайнов обработки данных;

• Умение проектировать архитектуру данных (индексы, партиционирование, шардирование, оптимизация производительности);

• Опыт работы с Airflow или другими инструментами оркестрации;

• Опыт работы с Superset или другими BI-инструментами со стороны данных;

• Опыт работы с Docker и контейнеризацией;

• Базовые навыки Linux и понимание DevOps-практик;

• Опыт работы с Git и CI/CD;

• Системное мышление и способность видеть архитектуру данных целиком;

• Опыт работы с legacy-решениями и проведения рефакторинга.

Будет плюсом:

• Опыт работы с dbt и Dagster;

• Умение самостоятельно разворачивать и поддерживать сервисы обработки данных.

Мы предлагаем

• Работу в продукте с доказанной ценностью и понятной стратегией развития. Мы работаем спринтами, но с понятным горизонтом планирования — есть гибкость в задачах и при этом стратегическое направление не теряется;

• Среду, где данные — ядро бизнеса. От качества, скорости и надёжности работы с ними напрямую зависит результат компании, поэтому Data Engineering здесь — стратегически важное направление;

• Осознанное движение к зрелой архитектуре: оркестрация, воспроизводимость, контроль качества, прозрачность процессов и снижение технологического долга;

• Высокий уровень ответственности и доверия. Мы ценим самостоятельность, системное мышление и инженерный подход к решению задач;

• Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);

• Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;

• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.