Senior Data Engineer

Мы занимаемся трудоустройством IT специалистов на проектную занятость. На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек. Требования: Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек), Глубокий SQL: оконные функции, сложные джойны, иерархические запросы, Оптимизация SQL для highload (партиционирование, индексы, explain plans), Oracle (PL/SQL) и PostgreSQL, Greenplum и/или Clickhouse, Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow, Hadoop (HDFS) и Hive, Мониторинг ETL: Grafana/Prometheus или Victoria Metrics, Опыт работы с биллинговыми системами (желательно телеком-домен). Задачи: Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum), Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код, Написание и оптимизация SQL для витрин данных и ETL-процессов, Разработка DAG-ов в Airflow, Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы), Разработка Spark-джобов (PySpark) для больших объемов, Интеграция с Kafka для потоковой передачи, Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик, Разбор инцидентов по качеству данных и ошибкам загрузки, Code review.