data engineer биллинга

Top Selection занимается подбором персонала, IT-аутстаффингом и рекрутментом.

• Мигрировать ETL-процессы с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL и хранимые процедуры;
• Подготавливать документацию AS IS и TO BE;
• Писать SQL-код;
• Отслеживать метрики.

• Опыт управления командой не менее 4 лет;
• Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
• Опыт разработки и сопровождения хранимых процедур и функций в СУБД;
• Практический опыт использования SQL, PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
• Опыт участия в проектах миграции ETL-систем с использованием Apache-стека;
• Опыт разработки на Python, включая написание ETL-скриптов, работу с pandas и интеграцию с API;
• Опыт написания и отладки DAG в Apache Airflow;
• Опыт работы с PySpark, включая трансформации, оптимизацию и партиционирование;
• Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек Airflow и Greenplum;
• Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг и отладка;
• Опыт работы с качеством данных: разработка правил валидации и анализ влияния на бизнес-процессы;
• Понимание архитектурных подходов к проектированию хранилищ и различий между ETL и ELT;
• Опыт работы с Hive metastore и форматами файлов Parquet и ORC;
• Опыт работы с Oracle;
• Опыт применения сложных SQL-запросов, включая оконные функции и объединения;
• Умение оптимизировать запросы для высоконагруженной среды;
• Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
• Опыт настройки потоковой обработки данных;
• Опыт работы с Hadoop и Hive;
• Опыт работы с PostgreSQL, Greenplum и ClickHouse;
• Опыт работы с Grafana и Prometheus для отслеживания ETL-процессов;
• Опыт работы с биллингом;
• Опыт автоматической валидации и контроля качества данных после миграции.

• Условий в вакансии нет