Data Ops Engineer

Job Beschreibung

Die DataOps-Plattform-Team-Mission besteht darin, einen zuverlässigen Service-Level über jeden technologischen Komponenten der EFG-Datenplattform (Databricks, Kafka, Spark, Elastic Search, Apache MQ, uServices-Stack) sicherzustellen.

Hauptaufgaben

Als unser Plattform- und Datenlandschaft sich weiterentwickeln, möchten wir unser Team mit einem erfahrenen CICD/CV-Ingenieur spezialisieren, der auf Daten-Pipeline-Implementierungen ausgerichtet ist. - Wir suchen jemanden, der sich wohl fühlt, wenn er Kafka, Spark und Databricks-Operationen mit Python verbindet. - Durch die Nutzung unseres Teams von erfahrenen Daten-Diensten (Change-Management, Qualitätsmanagement, SLA, SOR) werden Sie maßgeblich zur Kontinuität und Qualität unserer Betriebe beitragen:

• Tägliche Überwachung von Pipeline-Diensten (Change-Management, Qualitätsmanagement, SLA, SOR).
• Störungsfreie Betrieb von kritischen Daten-Pipelines während der asiatischen Stunden, als primärer Ansprechpartner für kritische Probleme in einem Follow-the-Sun-Support-Modell.
• Entwerfen, Implementieren und Optimieren von Daten-Pipelines im Batch- und Streaming-Modus.
• Anwenden von CICD-Praktiken, um Deployments und Integrationen zu automatisieren und zu straffen.
• Erstellen, Warten und Verbessern von Dokumentationen und Betriebsverfahren, für die die Betriebseigentümerschaft sichergestellt ist.
• Zusammenarbeit mit cross-funktionalen Teams, um Governance um Integrationen zu verbessern und zu überprüfen.
• Aufrechterhalten hoher Standards von Datenqualität, Zuverlässigkeit und Leistung.
• Aktuell bleiben mit Fortschritten in Daten-Engineering, DataOps-Technologie-Stack, um kontinuierliche Verbesserung zu unterstützen.

Anforderungen und Qualifikationen

- Mindestens 5 Jahre praktische Erfahrung in Daten-Engineering und Daten-Pipeline-Deployments, die auf DevOps-Praktiken basieren. - Erfahrung mit Python, SQL, PySpark und Databricks. - Robuste Erfahrung mit führenden CICD-Plattformen und Prozessen in hybriden Umgebungen (z.B. Azure DevOps, GitLab CI, GitHub Actions). - Vertrautheit mit Microservices-Architektur. API-Management und Beobachtbarkeit ist ein echter Vorteil. - Erfahrung mit Azure Databricks. - Gute Kommunikations- und Kollaborationsfähigkeiten. - Streng und methodisch in Dokumentation und Prozessschaffung. - Großes Interesse an Konvergenz, Normalisierung und Wiederverwendbarkeit. - Neugierig, begeistert und proaktiv. - Leidenschaftlich für innovative Technologien, mit einem starken Wunsch, zu lernen und in einer anspruchsvollen Umgebung zu wachsen. - Fließend in gesprochenem und geschriebenem Englisch, Französisch ist ein Vorteil.

Unsere Werte

- Verantwortung: Übernahme von Aufgaben und Herausforderungen, sowie kontinuierliche Verbesserung. - Hands-on: Proaktiv und schnell, um hochwertige Ergebnisse zu liefern. - Leidenschaftlich: Engagiert und strebend nach Exzellenz. - Lösungsorientiert: Fokus auf Kunden-Ergebnisse und faire Behandlung von Kunden mit einem risikobewussten Denken. - Partnerschaftsorientiert: Förderung von Zusammenarbeit und Teamarbeit. Zusammenarbeit mit einem unternehmerischen Geist.