Data Ops Engineer

Job Beschreibung

Die DataOps-Plattform-Team-Mission besteht darin, einen zuverlässigen Service-Level über jeden technologischen Komponenten der EFG-Datenplattform (Databricks, Kafka, Spark, Elastic Search, Apache MQ, uServices-Stack) sicherzustellen. Wir bauen und entwickeln die CICD-Plattform, die Daten-Pipeline-Deployments unterstützt, und arbeiten eng mit Projektteams zusammen, um Lieferungen über die Linie zu bringen.

Hauptaufgaben

Als unsere Plattform und Datenlandschaft evolvieren, möchten wir unser Team mit einem erfahrenen CICD-Ingenieur spezialisieren, der auf Daten-Pipeline-Implementierungen ausgerichtet ist. - Die Erwartungen an die Datenqualität steigen ständig, und es besteht die Notwendigkeit einer stabilen Service-Lieferung. Wir müssen sicherstellen, dass unsere Lieferprozesse kontrolliert und für unsere Stakeholder tragbar sind. - Wir suchen jemanden, der sich bei der Steuerung von Kafka, Spark und Databricks-Operationen mit Python wohl fühlt. - Durch die Verstärkung unseres Teams tragen Sie erheblich zur Kontinuität und Qualität unserer Operationen bei. - Diese Position umfasst die Eigentümerschaft bestimmter Daten-Dienste (Change-Management, Gesundheitsmanagement, SLA, SORP). - Verfolgen und sicherstellen Sie den reibungslosen Betrieb kritischer Daten-Pipelines während der asiatischen Stunden und fungieren Sie als primärer Ansprechpartner für kritische Probleme in einem Follow-up-Support-Modell. - Entwerfen, implementieren und optimieren Sie Daten-Pipelines im Batch- und Streaming-Modus. - Folgen und wenden Sie CICD-Praktiken an, um Deployments und Integrationen zu automatisieren und zu straffen. - Erstellen, warten und verbessern Sie Dokumentationen und Betriebsverfahren, für die die Betriebseigentümerschaft sichergestellt ist. - Arbeiten Sie mit cross-funktionalen Teams zusammen, um Governance um Integrationen zu verbessern und zu überprüfen. - Halten Sie hohe Standards an Datenqualität, Zuverlässigkeit, Verfügbarkeit und Leistung ein. - Bleiben Sie auf dem neuesten Stand mit Fortschritten in der Daten-Engineering-Technologie und der DataOps-Technologie-Stack, um kontinuierliche Verbesserungen zu unterstützen.

Anforderungen und Qualifikationen

- Mindestens 5 Jahre praktische Erfahrung in der Daten-Engineering- und Daten-Pipeline-Implementierung, die auf DevOps-Praktiken basiert. - Erfahrung mit Python, SQL, PySpark und Databricks. - Robuste Erfahrung mit einer der führenden CICD-Plattformen und -Prozessen in hybriden Umgebungen (z. B. Azure DevOps, GitLab CI, GitHub Actions). - Vertrautheit mit Microservices-Architektur, API-Management und Beobachtbarkeit ist ein echter Vorteil. - Erfahrung mit Azure Databricks. - Gute Kommunikations- und Kollaborationsfähigkeiten. - Streng und methodisch in Dokumentation und Prozesserstellung. - Großes Interesse an Konvergenz, Normalisierung und Wiederverwendbarkeit. - Neugierig, begeistert und proaktiv. - Leidenschaftlich an Daten-Verarbeitungstechnologien interessiert, mit einem starken Wunsch, zu lernen und in einer anspruchsvollen Umgebung zu wachsen. - Fließend in gesprochenem und geschriebenem Englisch, Französisch ist ein Plus.

Unsere Werte

-

• Verantwortung: Übernahme von Aufgaben und Herausforderungen sowie kontinuierliche Verbesserung.
• Praktisch: Praktische Umsetzung, um schnell hochwertige Ergebnisse zu liefern.
• Leidenschaftlich: Engagiert und strebt nach Exzellenz.
• Lösungsorientiert: Fokus auf Kunden-Ergebnisse und faire Behandlung der Kunden mit einem risikobewussten Denken.
• Partnerschaftsorientiert: För