data engineer электронной коммерции

Компания развивает платформу данных электронной коммерции нового поколения.

• Разрабатывать и совершенствовать платформу данных электронной коммерции;
• Проектировать и разрабатывать ETL-пайплайны на Airflow для Spark, Iceberg и Trino;
• Оптимизировать действующие пайплайны и задания на Spark;
• Мониторить нагрузку на кластер и эффективность использования ресурсов;
• Взаимодействовать с аналитиками и ML-специалистами для создания и развёртывания инструментов и наборов данных;
• Поддерживать регулярное взаимодействие с data ops для развития дата-платформы;
• Анализировать и внедрять инструменты инжиниринга данных, включая Lineage и DQ;
• Проектировать хранилища данных на основе Kubernetes;
• Настраивать производительность и мониторинг;
• Планировать ёмкость кластера и другой инфраструктуры;
• Определять способы загрузки данных и партиционирования;
• Решать задачи по внедрению облачной инфраструктуры;
• Разрабатывать новую архитектуру хранилища;
• Проводить проверку кода;
• Участвовать в архитектурных решениях по дата-платформе.

• Понимание ресурсной модели Kubernetes, умение просматривать конфигурации и выполнять поиск неисправностей;
• Опыт работы с Hadoop, HDFS и Hive Metastore;
• Опыт работы со Spark, Spark SQL и Streaming, понимание особенностей PySpark;
• Владение процедурами Apache Iceberg, включая snapshots и maintenance;
• Глубокое понимание Airflow 2 и 3, идемпотентности, assets и backfills;
• Уверенное знание Git и CI/CD;
• Знание Python и Scala/Java, объектно-ориентированного программирования, проектирования библиотек, интеграционных и модульных тестов;
• Хорошее понимание СУБД и SQL;
• Опыт работы с Docker для развёртывания локального окружения проекта;
• Опыт работы с Kafka и понимание её архитектуры и слабых мест;
• Опыт работы с облачными технологиями, преимущественно Yandex Cloud;
• Опыт работы с ClickHouse;
• Активное использование Claude Code, Codex и подобных инструментов;
• Опыт построения систем с агентами и инструментами, автоматизации через LLM и RAG.

• ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
• Страхование жизни;
• Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и 40% в день рождения;
• Программа привилегий и скидок от BestBenefits;
• До 15 дней больничного в год оплачиваются в размере 100% действующего оклада;
• Бесплатные юридические консультации;
• Дополнительные выходные в случае важных событий;
• Мероприятия и неформальное общение;
• Наставник для каждого новичка;
• Обучение и участие во внешних конференциях;
• Помощь в развитии личного бренда, выступлениях на конференциях и написании статей;
• Performance Review дважды в год;
• Митапы и demo-дни для обмена знаниями;
• Знакомство с модными трендами каждый сезон.