data engineer витрин данных

Команда развивает фреймворк для разработки витрин данных. В ней объединены экспертизы по Data Engineering, Software Engineering, анализу и архитектуре, DevOps, Backend и Frontend-разработке.

• Разрабатывать и дорабатывать компоненты фреймворка для построения batch- и streaming-витрин;
• Реализовывать модули платформы: оркестрацию, метаданные и Data Quality-фреймворк на Scala или Java;
• Реализовывать и поддерживать API, включая RESTful API, для упрощения работы с данными других команд;
• Участвовать в оптимизации производительности Spark-приложений на больших объёмах данных;
• Покрывать код тестами и участвовать в code review;
• Взаимодействовать с пользователями платформы, разбирать обращения, помогать с интеграцией и собирать обратную связь.

• Высшее образование;
• Опыт коммерческой разработки в Data Engineering от 2–3 лет;
• Уверенное знание Scala или Java и SQL;
• Базовые навыки Bash;
• Практический опыт разработки на Apache Spark;
• Понимание DWH, Data Lake, ETL/ELT-процессов, SCD и подходов к Data Quality;
• Понимание принципов SOLID и ООП;
• Опыт написания unit- и integration-тестов;
• Опыт работы с Git;
• Умение самостоятельно доводить задачи до результата, аргументировать технические решения и работать в кросс-функциональной команде;
• Будет плюсом опыт с Kafka, Flink, Iceberg или аналогами, опыт с Hadoop-экосистемой, включая HDFS, YARN и Hive, опыт с ClickHouse, Kubernetes и S3, знание Python, навыки работы с генеративными AI-моделями.

• Офис в Москве на улице Поклонной, 3;
• Ежегодный пересмотр зарплаты и годовая премия;
• Расширенный ДМС и льготное страхование для семьи;
• Система обучения для профессионального и карьерного развития;
• Выгодная ипотека для сотрудников;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду Сбера;
• Корпоративная пенсионная программа.