Data Ops Engineer

Job Description

Die DataOps-Plattformteam-Mission besteht darin, einen zuverlässigen Service-Level über jeden technologischen Komponenten der EFG-Datenplattform (Databricks, Kafka, Spark, Elastic Search, Apache MQ, uServices-Stack) sicherzustellen. Wir bauen und entwickeln die CI/CD-Plattform, die Daten-Pipeline-Deployments unterstützt, und arbeiten eng mit Projektteams zusammen, um Ergebnisse zu liefern.

Main Responsibilities

Als unser Plattform- und Daten-Landschaft sich weiterentwickeln, möchten wir unser Team mit einem erfahrenen CI/CD-Ingenieur spezialisieren, der auf Daten-Pipeline-Implementierungen ausgerichtet ist. - Die Erwartungen an die Datenqualität steigen ständig, und wir müssen sicherstellen, dass unsere Lieferprozesse kontrolliert und für unsere Stakeholder sichtbar sind. - Wir suchen jemanden, der sich wohlfühlt, wenn er Kafka, Spark und Databricks-Operationen mit Python verbindet. - Durch die Reduzierung unserer technischen Schulden tragen Sie erheblich zur Kontinuität und Qualität unserer Betriebe bei. - Übernehmen Sie die Verantwortung für Daten-Dienste (Change-Management, Qualitäts-Sicherungs-Management, SLA, SOP, Nachverfolgung und Sicherstellung des reibungslosen Betriebs kritischer Daten-Pipelines während der asiatischen Stunden, als primärer Ansprechpartner für kritische Probleme in einem 24/7-Follow-the-Sun-Unterstützungsmodell. - Entwerfen, implementieren und optimieren Sie Daten-Pipelines im Batch- und Streaming-Modus. - Folgen Sie und wenden Sie CICD-Praktiken an, um Deployments und Integrationen zu automatisieren und zu straffen. - Erstellen, warten und verbessern Sie Dokumentationen und Betriebsverfahren, für die die Betriebsverantwortung sichergestellt ist. - Arbeiten Sie mit cross-funktionalen Teams zusammen, um Governance über Integrationsbetriebe zu verbessern und zu überprüfen. - Halten Sie hohe Standards an Datenqualität, Zuverlässigkeit und Leistung ein. - Bleiben Sie auf dem neuesten Stand mit Fortschritten in der Daten-Engineering, der Daten-Pipeline-Technologie, um kontinuierliche Verbesserungen zu unterstützen.

Requirements and Qualifications

- Mindestens 5 Jahre praktische Erfahrung in der Daten-Engineering und Daten-Pipeline-Implementierung, die auf DevOps-Praktiken basiert. - Erfahrung mit Python, SQL, PySpark und Databricks. - Robuste Erfahrung mit führenden CICD-Plattformen und -Prozessen in hybriden Umgebungen (z.B. Azure DevOps, GitLab CI, GitHub Actions). - Vertrautheit mit Microservices-Architektur, API-Management und Beobachtbarkeit ist ein Plus. - Erfahrung mit Azure Databricks. - Gute Kommunikations- und Kollaborationsfähigkeiten. - Streng und methodisch in Dokumentation und Prozesserstellung. - Großes Interesse an Konvergenz, Normalisierung und Wiederverwendbarkeit. - Neugierig, begeistert und proaktiv. - Leidenschaftlich an Daten-Verarbeitungstechnologien interessiert, mit einem starken Wunsch, zu lernen und in einer anspruchsvollen Umgebung zu wachsen. - Fließend in gesprochenem und geschriebenem Englisch, Französisch ist ein Plus.

Our Values

- Verantwortung: Übernahme der Verantwortung für Aufgaben und Herausforderungen sowie kontinuierliche Verbesserung. - Hands-on: Proaktiv, um hochwertige Ergebnisse schnell zu liefern. - Leidenschaftlich: Engagiert und strebend nach Exzellenz. - Lösungsorientiert: Fokus auf Kunden-Ergebnisse und faire Behandlung von Kunden mit einem risikobewussten Denken. - Partnerschaftsorientiert: Förderung von Zusammenarbeit und Teamarbeit. Zusammenarbeit mit einem unternehmerischen Geist.