data engineer

Проект представляет собой высокопроизводительный конвейер для обработки огромных объёмов данных, а не классическое хранилище данных.

• Разрабатывать и сопровождать высоконагруженный конвейер обработки данных на отдельном контуре;
• Реализовывать API для взаимодействия между компонентами системы;
• Собирать информацию через коллекторы syslog, UDP и другие протоколы;
• Строить ETL/ELT-пайплайны с использованием Airflow, Spark и Kafka;
• Оптимизировать производительность: профилировать, работать с многопоточностью, диагностировать и устранять узкие места;
• Интегрировать внешние источники данных совместно с аналитиком.

• От 2 лет опыта в дата-инжиниринге или разработке высоконагруженных систем;
• Высшее образование;
• Уверенно владеть Python для разработки пайплайнов и автоматизации;
• Уверенно владеть SQL и оптимизировать сложные запросы;
• Иметь опыт работы с ClickHouse, Hive и другими СУБД;
• Иметь опыт работы с большими данными, Hadoop, Spark и Kafka;
• Иметь опыт оркестрации с Airflow, Jenkins или аналогами;
• Иметь опыт разработки высоконагруженных API, понимать многопоточность и работать с сетевыми протоколами;
• Иметь опыт работы с коллекторами сбора информации: syslog, UDP и другими;
• Обладать системным мышлением;
• Понимать производительность и архитектуру;
• Уметь работать с большими объёмами данных;
• Уметь взаимодействовать с аналитиками и смежными командами.

• Профессиональный рост, участие в профильных конференциях, доступ к корпоративной библиотеке и курсам;
• Официальное трудоустройство в штат аккредитованной IT-компании;
• Полный социальный пакет: оплачиваемые отпуска, больничные со 100% компенсацией и командировки;
• ДМС со стоматологией после испытательного срока;
• Бонусные тарифы на телеком-услуги Дом.ру, программы лояльности и скидки в фитнес-клубы;
• Внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.