инженер данных в команду DWH

Команда строит платформу потоковой обработки данных для критичных real-time-систем Авито: антибота, антифрода, рекламной аналитики, маркетинговых триггеров и CDC-пайплайнов. Работа ведётся в продуктовых и платформенных направлениях, включая новые алгоритмы детекции, обогащение событий, оператор Flink на Kubernetes, инфраструктуру деплоя и миграции.

• Развивать real-time антибот и антифрод: детектировать ботов и фрод с помощью потоковых эвристик, разрабатывать новые сигналы;
• Развивать обогащение событий: строить операторы обогащения кликстрим-событий — геолокации, категорий, атрибутов пользователя и рекламных метрик;
• Развивать CDC и data ingestion: разрабатывать пайплайны захвата изменений из баз данных и доставки данных в DWH в формате Apache Paimon;
• Развивать рекламную аналитику: считать CTR impressions, auction withdrawals и маркетинговые конверсии в реальном времени;
• Развивать Flink Platform: управлять Flink Kubernetes Operator, Helm-чартами и деплоями в нескольких дата-центрах и регионах;
• Обеспечивать техническое лидерство команды: задавать архитектурные стандарты и помогать команде расти.

• Глубокая экспертиза в Apache Flink или другом фреймворке потоковой обработки данных, например Spark Streaming или Kafka Streams;
• Опыт руководства командой разработки от 4 лет;
• Системный подход к работе с людьми: мотивация, развитие и адаптация;
• Опыт работы с высоконагруженными продакшен-системами;
• Умение декомпозировать задачи и выстраивать технический роадмап;
• Понимание принципов работы Apache Kafka и распределённых систем;
• Будет плюсом опыт руководства платформенной командой без продакт-менеджера и системного аналитика.

• Возможность реализовать идеи в проекте с многомиллионной аудиторией;
• Поддержка инициатив талантливой командой;
• Мощное железо, дополнительные мониторы и всё необходимое для продуктивной работы;
• Прозрачная система премий;
• Достойная зарплата, размер обсуждается на собеседовании;
• Личный бюджет на обучение для книг, курсов и конференций;
• ДМС со стоматологией с первого дня;
• Терапевт и массажист в офисе;
• Офисы в разных городах.