Сервис для анализа больших данных для клиентов банка (средний и крупный бизнес). Помогает развивать бизнес, анализировать конкурентов, управлять рисками и оценивать аудиторию.
Обязанности
- Валидация процессов загрузки данных
- Проверка корректности скачивания данных из внешних источников (БКИ, ЦБ, ФНС и др.).
- Контроль раскладки данных по целевым таблицам в S3/Iceberg.
- Подтверждение обработки 100% входящего объёма данных.
- Верификация атрибутного состава (например, отсутствие даты рождения в поле "ФИО").
- Тестирование механизмов обновления: отсутствие дубликатов при повторной загрузке.
- Блокировка записей с аномалиями (ошибки источника, некорректные форматы).
- Анализ документации (ТЗ, маппинги) для проектирования тест-кейсов.
- Профилирование данных: выявление шаблонов, аномалий и граничных значений.
- Документирование расхождений между источниками и хранилищем.
- Мониторинг задач в Airflow на предмет сбоев.
- Составление отчётов о дефектах и качестве данных.
Требования
- Практическое знание SQL: продвинутый уровень: сложные JOIN; подзапросы; агрегатные функции, написание проверочных запросов, анализ трансформаций, выявление расхождений.
- Понимание архитектуры Lakehouse (S3, Iceberg) и слоёв хранения (RAW/ODS/DDS).
- Опыт работы с БД и хранилищами: Oracle; Greenplum; PostgreSQL; S3, Airflow (мониторинг задач), Spark (понимание логики обработки).
- Опыт тестирования хранилищ данных.
Будет преимуществом
- Работа с форматами данных: XML, JSON, XSD/JSON-схемы.
- Опыт интеграции внешних источников (БКИ, ФНС, ЦБ, API-партнёров).
- Понимание REST/SOAP API и протоколов передачи.
Условия
- Только РФ
- Удаленный формат работы
- Полная занятость
- Зарплата от 250 тыс. до 400 тыс. на руки
- Оформление по ТК РФ, полностью белая зарплата, оплачиваемые отпускные и больничные
- Индексация заработной платы
- Расширенная программа ДМС
- Скидки на фитнес, кино и уроки английского
- Техника по требованиям проекта
