Data Engineer

7Цветов - это перспективное место работы для людей, готовых к честной плодотворной работе с полной самоотдачей в дружественном коллективе. Работа в нашей компании - это, прежде всего, прекрасная атмосфера, которая дает возможность работникам многому научится и улучшить свои профессиональные и индивидуальные навыки. Мы в поиске талантливых профессионалов, которые могли бы стать частью нашей команды и принять участие в развитии компании.

О проекте и роли:

Мы строим контур данных и ИИ-инструментов: скоропорт, логистика, сезонные пики, динамическое ценообразование и 1С как критическое ядро. Красивое демо ценой риска для прода или утечки данных нам не подходит.

Сначала фундамент: витрина данных на ClickHouse, слои Raw / Clean / Mart, воспроизводимые пайплайны, сверка с 1С и семантический слой — каталог данных, словарь бизнес-терминов, единые метрики, структура трансформаций и data lineage. Аналитики описывают смысл, инженер превращает его в код, проверки и контракты.

Реализованная витрина разблокирует нам AI-инструменты. Современная обвязка: RAG, агенты, tool/API-интеграции, guardrails, evals, cost tracking, MCP и гибридный подход к моделям, маскирование, llm gateway…

Что предстоит делать (Этапы проекта)

Этап 1. Создание фундамента данных (Data Governance)

Наш внешний партнер разворачивает инфраструктуру и софт, начинает реализовывать витрину, вы подхватываете процесс.

• Построение аналитической витрины: Разработка хранилища на ClickHouse с четким разделением на слои (Raw / Clean / Mart).
• Обеспечение надежности: Создание воспроизводимых пайплайнов данных и обязательная автоматическая сверка результатов с 1С.
• Разделение контуров работы:
  • Аналитики описывают бизнес-смысл: ведут каталог данных, словарь бизнес-терминов, фиксируют единые метрики холдинга и структуру трансформаций.
  • Инженеры превращают этот смысл в надежный код, настраивают проверки качества данных (Data Quality), внедряют дата-контракты и выстраивают сквозной Data Lineage.

Этап 2. Развертывание AI-инструментов

После готовности дата-слоя мы подключаем современную ИИ-инфраструктуру:

• Внедрение RAG, автономных агентов и tool/API-интеграций.
• Использование протокола MCP (Model Context Protocol) и гибридного подхода к выбору моделей.
• Обеспечение безопасности и контроля: маскирование данных, использование LLM Gateway, обязательная настройка ограничений (guardrails), систем оценки (evals) и сквозного мониторинга затрат (cost tracking).

Технологический контур: (примерно)

• Data: ClickHouse, SQL, dbt, Airflow, Kafka/Redpanda, Debezium, S3, BI/Superset.

• Backend: Python 3, FastAPI, Pydantic, async, REST/JSON, интеграции с внутренними API.

• AI/RAG/Agents: Qdrant или аналог, embeddings, LangGraph/LangChain или аналоги, MCP, LLM-gateway, structured output.

• Quality & Safety: evals, tracing, Langfuse/LangSmith или аналоги, guardrails, De-ID, HITL, cost tracking.

Что для нас обязательно:

• Опыт коммерческой разработки на Python или в роли Data Engineer / Backend Engineer от 3 лет.

• Уверенный SQL и понимание разницы между операционной базой, DWH, витриной, метрикой и источником правды.

• Опыт ETL/ELT-пайплайнов или backend-сервисов, где важны воспроизводимость, логирование, ретраи, тесты, code review и документация.

• Инженерная аккуратность: не “примерно совпало”, а понятная сверка, методология, причины расхождений и владелец данных.

• Готовность разбираться в ClickHouse, 1С-данных, бизнес-терминах и ограничениях безопасности.

Будет сильным плюсом:

• dbt, Airflow, Kafka/Redpanda, Debezium/CDC, ClickHouse, data quality, data lineage, data catalog / semantic layer.

• RAG, Qdrant/Milvus/FAISS/pgvector, embeddings, reranking, поиск по документам и корпоративной базе знаний.

• LangGraph/LangChain, MCP, tool use/function calling, structured outputs, multi-model routing/fusion, LLM-gateway.

• Evals, Langfuse/LangSmith, OpenTelemetry/tracing, guardrails, prompt injection/data leakage/tool abuse threat model.

Кому эта роль подойдет:

• Тебе интересно сначала построить надежный “водопровод данных”, а затем подключать к нему ИИ-инструменты без магии и самовнушения.

• Ты хочешь развиваться на стыке Data Engineering, Python backend и AI engineering, но понимаешь, что ценность доказывается метриками и P&L, а не количеством агентов.

• Ты принимаешь неопределенность, но не терпишь хаоса в коде, данных, доступах и договоренностях.

Кому, скорее всего, не подойдет:

• Если хочется заниматься только LLM-промптами и агентами, но не хочется SQL, витрин, сверок, пайплайнов и документации.

• Если кажется нормальным подключиться к production 1С “на пять минут”. У нас это красная линия.

• Если хочется полной автономии агентов в критичных процессах без Human-in-the-Loop.

Хороший результат на испытательном сроке:

• Ты разобрался в архитектуре, источниках данных, ограничениях 1С, правилах доступа и текущем семантическом слое.

• Довел 1-2 пайплайна, витрины или сервиса до состояния: код, логи, проверки, документация, сверка с источником, понятный владелец.

• Показал, где нужен SQL/dbt, где Python-сервис, а где действительно уместен RAG/агент.

Что мы предлагаем:

• Заработная плата: до 350 000 рублей на руки (по итогам технического интервью);
• Оформление по ТК, в штат ИТ- компании;
• График работы: 5/2 удаленка/гибрид;
• Офис недалеко от «Молодёжной» с корпоративным автобусом от и до метро.
• Парковку возле офис;
• ДМС после испытательного срока;
• Скидки для сотрудников на товары компании, доступ к системе скидок BestBenefits;
• Подарки для сотрудников и их детей к Новому Году, подарки и классные розыгрыши на день рождения Компании.
• Льготную столовую для сотрудников.