Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Объединённая компания Wildberries и Russ — международная технологическая компания, созданная после слияния IT-компании Wildberries и оператора наружной рекламы Russ. Команда «Прайсинг» развивает аналитическое хранилище продукта «Платформа Ценообразования» и отвечает за четыре продукта в направлениях аналитики, бэкенда и ML.
задачи
Проектировать и разрабатывать пайплайны загрузки данных с учётом потребностей команд-потребителей;
Проектировать загрузку данных, раскладку по слоям и витрины в ClickHouse, выбирая движки таблиц, ключи сортировки, партиционирования, шардирования и репликации;
Оптимизировать запросы и хранение данных;
Разрабатывать и поддерживать DAG в Airflow, обеспечивая идемпотентность, ретраи, бэкфиллы и зависимости между задачами;
Обеспечивать качество данных с помощью проверок полноты и консистентности, сверок между системами, алертинга и мониторинга пайплайнов;
Работать с продуктовыми командами и аналитиками, разбирать требования, согласовывать контракты данных, объяснять ограничения и предлагать варианты.
требования
Опыт работы с ClickHouse, включая выявление проблем на кластере, работу с распределённой базой данных и оптимизацию пайплайнов;
Уверенный SQL и опыт работы с большими объёмами данных;
Владение Python для разработки пайплайнов и бэкенда на FastAPI;
Опыт разработки и эксплуатации DAG в Apache Airflow в продакшене, понимание идемпотентности и бэкфиллов;
Опыт работы с Apache Kafka, включая топики, партиции, группы потребителей, оффсеты, семантику доставки и загрузку данных в хранилище;
Опыт интеграции данных из REST API и реляционных баз данных, включая PostgreSQL, инкрементальную загрузку и работу с изменениями данных.
условия
Обучение и развитие: языковые клубы, собственный корпоративный университет и программы развития управленческих навыков;
Корпоративный пакет ДМС со стоматологией;
Корпоративный спорт и консультации психолога;
Сообщества по интересам: клубы спикеров, футбола, йоги и шахмат;
Гибкий подход для совмещения карьеры и заботы о близких;
Скидки и партнёрские программы на обучение, страхование и покупки;
.svg)
