дата инженер для ML-продуктов
ориентир по рынку
вакансия
зп не указана
в среднем
206 574 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Ozon Банк развивает финансовые технологии для людей и бизнеса и самостоятельно реализует ключевые системы: процессинг, учётное ядро и переводы.
задачи
- Разрабатывать пакетные пайплайны на Spark и PySpark под управлением Airflow;
- Готовить витрины и датасеты для обучения, скоринга и мониторинга моделей;
- Организовывать слои и партиционирование данных в HDFS, контролировать хранение и квоты;
- Оптимизировать производительность и ресурсоёмкость задач Spark;
- Проектировать загрузку и хранение данных в ClickHouse, оптимизировать запросы и структуру таблиц;
- Обеспечивать надёжность пайплайнов с помощью проверок качества данных, мониторинга и оповещений;
- Разбирать инциденты.
требования
- Опыт разработки промышленных пайплайнов данных;
- Уверенное знание Spark, PySpark, HDFS, Python и SQL;
- Опыт работы с Airflow и ClickHouse;
- Понимание распределённых вычислений, партиционирования и оптимизации ETL-процессов;
- Будет плюсом опыт работы с Kafka, Feature Store и данными для ML, скоринга или антифрода.
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.
Про зарплаты
Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.
Посмотреть зарплаты