Senior Data Engineer - Data Analytics Platform

Aufgaben

· Entwickeln von Prozessen, die die Datensicherheit und -qualität gewährleisten

Ihr Profil

• Akademischer Abschluss (Bachelor oder Master) in Informatik, Data Analytics, Informationssystemen oder einem verwandten technischen Fachgebiet, oder gleichwertige Ausbildung und berufliche Erfahrung
• 5+ Jahre Erfahrung in ETL/ELT, Data-Warehousing, Business Intelligence und Integration von Datenverarbeitungs-/Workfluss-Management-Tools in die Pipeline-Design
• 5+ Jahre Erfahrung beim Aufbau und Warten von End-to-End-Data-Systemen mit Python, Scala oder ähnlichen Programmiersprachen
• Solide Erfahrung in der Nutzung von SQL für Datenanalyse, Untersuchung von Datenproblemen, Diagnose von Ursachen und Entwicklung effektiver Lösungen
• Erfahrung in der Arbeit mit cloud-basierten Daten-Technologien, vorzugsweise auf Microsoft Azure, in kontinuierlichen Integration- und Lieferumgebungen (CI/CD)
• Nachgewiesene Erfahrung bei der Arbeit mit großen Datenmengen unter Verwendung von Databricks, PySpark, Spark Streaming und Delta Lake
• Praktische Erfahrung mit strukturierten, semi-strukturierten und unstrukturierten Daten in verschiedenen Speichersystemen, einschließlich relationalen Datenbanken (RDBMS), Data-Warehouses, In-Memory-Caches und Dokumentendatenbanken
• Vertrautheit mit Cloud-Speicherlösungen wie Azure Data Lake und Blob Storage
• Solides Verständnis von Datenmodellierungsprinzipien (Erfahrung mit Data Vault ist ein Plus) und starke Fähigkeiten in Systemdesign, Implementierung und Test
• Erfahrung mit ereignisgesteuerten Architekturen (z.B. Kafka, Event Hubs, Apache Flink) und containerisierten Umgebungen