data engineer real-time data products

ориентир по рынку

вакансия зп не указана

в среднем 86 000 ₽

мэтч

Загрузи резюме, чтобы видеть мэтчи с вакансией

подготовьтесь к отклику

ai-инструменты

Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме

Команда разрабатывает real-time и offline data products, а также решения для Data Lake и Data Warehouse.

Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products;
Проектировать решения для Data Lake и Data Warehouse;
Обрабатывать batch и real-time streaming данные;
Разрабатывать системы мониторинга, alerting и performance metrics;
Создавать автоматизированные workflow и CI/CD pipelines;
Взаимодействовать с Product и другими командами, собирать требования, проектировать решения и готовить design documents;
Поддерживать документацию, runbook’и и troubleshooting guides;
Участвовать в Agile-процессах и обеспечивать своевременную реализацию задач.

Уверенно владеть Python, PySpark и Spark SQL / ANSI SQL;
Знать Apache Spark и Spark Streaming;
Знать Kafka, Kafka Streams и data ingestion;
Знать AWS, включая S3;
Знать форматы данных JSON, CSV, Parquet, PSV и Delta;
Владеть Git, CI/CD и DevOps;
Иметь опыт построения Data Lake, Data Warehouse и масштабируемых data solutions;
Владеть английским языком на уровне B1 для коммуникации и технической документации;
Уметь объяснять и защищать технические решения;
Обладать системным мышлением, ответственностью и вниманием к деталям;
Уметь работать самостоятельно и в команде;
Будет плюсом Databricks, MLflow, опыт наставничества и руководства командой, опыт работы с real-time data systems.

python pyspark spark sql ansi sql apache spark spark streaming kafka kafka streams aws s3 git ci/cd devops data lake data warehouse

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.

Про зарплаты

Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.