Principal, Cloud Data Engineer

Job Overview

Der Principal - Cloud Data Platform Engineer ist verantwortlich für das Design, den Bau und die Wartung von skalierbaren, sicheren und leistungsstarken Cloud-basierten Datenplattformen, die Analytics, Machine Learning und Unternehmensdatenbedürfnisse unterstützen.

Responsibilities

Die Aufgaben umfassen:

• Überwachung und Optimierung von Datenpipelines für die Aufnahme, Transformation, Verarbeitung und Strukturierung von strukturierten, semi-strukturierten und unstrukturierten Daten.
• Erstellung von skalierbaren Frameworks und Infrastrukturen für Datenworkflows, Überwachung und Skalierung.
• Sicherstellung, dass Datenlager- und Rechenlösungen für Leistung, Sicherheit und Kosteneffizienz optimiert sind.
• Integration von Cloud-Datendiensten mit Unternehmensanwendungen, APIs und Drittanbieter-Tools.

Data Management & Governance

Die Aufgaben umfassen:

• Implementierung von Datenqualitäts-, Linien- und Kataloglösungen über die Datenplattform hinweg.
• Durchsetzung von Governance-, Sicherheits- und Compliance-Standards (z.B. GDPR, HIPAA, SOX).
• Zusammenarbeit mit Architekten und Sicherheitsteams, um Datenruhe- und Bewegungsverschlüsselung und Audit-Controlling zu implementieren.
• Unterstützung von Metadatenmanagement, Datenentdeckbarkeit und unternehmensweiter Datendemokratisierung.

Operations & Reliability

Die Aufgaben umfassen:

• Verwaltung des Betriebszustands der Cloud-Datenplattform, einschließlich Überwachung, Alarmierung und Fehlersuche.
• Einrichtung von CICD/CI/CD-Pipelines für Daten Dienste und Plattformkomponenten.
• Implementierung von Notfallwiederherstellungs-, Sicherungs- und Ausfallstrategien.
• Ständige Optimierung der Plattformleistung, Kosten und Skalierbarkeit.

Collaboration & Innovation

Die Aufgaben umfassen:

• Zusammenarbeit mit Datenwissenschaftlern, BI-Teams und Anwendungsentwicklern, um erweiterte Analysen und Al/ML-Workloads zu ermöglichen.
• Bewertung von aufkommenden Cloud-Datendiensten und Empfehlung der Einführung auf der Grundlage von Unternehmensbedürfnissen.
• Bereitstellung von technischer Expertise bei der Gestaltung von Cloud-basierten Datenarchitekturen und Lösungen.
• Mentoring von Junior-Ingenieuren und Beitrag zu Best Practices in Cloud-Engineering und Datenentwicklung.

Qualifications

Die Anforderungen umfassen:

• Abschluss in Informatik, Datenengineering oder einem verwandten Fach (Master-Abschluss bevorzugt).
• 10+ Jahre Erfahrung in der Technik-Infrastruktur.
• 10+ Jahre Erfahrung in Datenengineering, Cloud-Engineering oder Plattform-Engineering.
• Praktische Erfahrung mit mindestens einem großen Cloud-Anbieter (AWS oder Azure).

Weitere Anforderungen

Die Anforderungen umfassen:

• Erfahrung in regulierten Umgebungen (Finanzdienstleistungen, Gesundheitswesen usw.).
• Kenntnisse in SQL und mindestens einer Programmiersprache (Python, Java oder Scala).
• Tiefes Verständnis von cloud-nativen Daten Diensten (z.B. AWS Redshift, Glue, S3, Athena, Azure Synapse, Data Factory, GCP BigQuery/Spanner).
• Vertrautheit mit Containerisierung und