Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
YTsaurus — основная платформа Яндекса для аналитики и построения batch-процессов. Она включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — открытый фреймворк для распределённой обработки больших объёмов данных. Проект SPYT интегрирует Spark с YTsaurus; его исходный код доступен в открытом доступе, а инструмент используется внутри Яндекса и внешними пользователями.
задачи
Повышать эффективность интеграции Apache Spark и YTsaurus;
Интегрировать новые версии Apache Spark и YTsaurus для эффективного взаимодействия;
Проводить регулярные бенчмарки;
Определять проблемные зоны в интеграции и устранять их;
Расширять область применения инструмента;
Помогать дата-инженерам и опенсорс-пользователям эффективно решать задачи с помощью инструмента;
Актуализировать план дальнейшей интеграции на основе обратной связи и трендов развития инструментов для дата-инженерии;
Развивать внешнее комьюнити вокруг опенсорс-проекта.
требования
Опыт работы с Apache Spark не менее трёх лет;
Умение разрабатывать под JVM на Java и Scala, а также на Python;
Понимание принципов распределённого хранения и обработки больших объёмов данных;
Будет плюсом опыт работы с Hadoop-стеком (HDFS, YARN), Docker и Kubernetes, участие в работе над опенсорс-проектом, знание C++.
условия
Расширенная медицинская страховка с первого месяца работы;
Оплачиваются 30 дней больничного в году;
ДМС покрывает чекапы, вакцинацию, стоматологию, коррекцию зрения и хирургическое лечение косоглазия после года работы;
Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
.svg)
