data engineer платформы данных

Объединённая компания Wildberries и Russ — международная технологическая компания, образованная в результате слияния Wildberries и оператора наружной рекламы Russ. Команда развивает платформу данных в направлении TNS, которая собирает, обрабатывает и передаёт данные из разных доменов в потоковом и пакетном режимах. Данные используются в регуляторных сценариях, где важно обеспечивать их полноту, свежесть и воспроизводимость.

• Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ;
• Обеспечивать полноту и качество потоков: контролировать задержки, пропуски, дубли, объёмы, свежесть и расхождения между источником и целевым хранилищем; участвовать в восстановлении и дозагрузке данных;
• Развивать пакетные конвейеры в Apache Airflow: выполнять регуляторные выгрузки день в день и массовые загрузки в Cassandra, проверять полноту, свежесть и результаты загрузки;
• Подключать новые источники: разбираться в семантике событий, идентификаторах, ключах партиционирования, формате данных, сроках хранения, владельцах и ограничениях источника;
• Документировать Cassandra и потоки данных, вести инструкции по эксплуатации и разборы инцидентов;
• Участвовать в дежурствах по регламенту: локализовать инциденты, эскалировать их, объяснять простои и фиксировать пробелы в сборе данных.

• От 2 до 4 лет опыта в инженерии данных или бэкенд-разработке с практическим переходом в направление данных;
• Уверенное знание SQL и понимание работы с большими объёмами данных: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест;
• Опыт построения корпоративных хранилищ данных и понимание их слоёв;
• Практический опыт работы с Kafka: производители и потребители, группы потребителей, ключи и партиционирование, смещения, сроки хранения, повторное чтение и обработка ошибок, DLQ;
• Владение Python для задач с данными и Airflow: разработка и сопровождение DAG, идемпотентные задачи, повторные запуски и дозагрузка данных;
• Опыт работы с кодом Java во Flink: чтение, доработка и отладка кода, разбор причин перезапусков, контрольных точек и обратного давления;
• Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse;
• Для Cassandra: понимание моделирования по шаблонам доступа, ключей разделения, срока жизни данных, согласованности и особенностей записи;
• Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, срок жизни данных и особенности семантики обновления и слияния;
• Опыт сопровождения конвейеров Airflow в промышленной среде;
• Опыт инженерного цикла: тестирование, CI/CD, контроль качества, мониторинг, оповещения, анализ причин инцидентов и профилактические меры;
• Внимательность к SLA и регуляторным ограничениям: система должна обнаруживать, объяснять и помогать восстанавливать данные, которые нельзя терять;
• Будет плюсом самостоятельная разработка конвейеров Flink с состоянием.

• Языковые клубы, корпоративный университет и программы развития управленческих навыков;
• ДМС со стоматологией, корпоративный спорт и консультации психолога;
• Сообщества по интересам: выступления, футбол, йога и шахматы;
• Гибкий подход, помогающий сочетать карьеру и заботу о близких, а также проекты для детей сотрудников;
• Скидки и партнёрские программы на обучение, страхование и покупки;
• Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.