Data Ops Engineer

Job Beschreibung

Die DataOps-Plattformteam-Mission besteht darin, ein zuverlässiges Service-Level über jedes technologische Komponente der EFG-Datenplattform (Databricks, Kafka, Spark, Elastic Search, Apache MQ, Stardust-Stack) sicherzustellen. Wir bauen und entwickeln die CICD-Plattform, die Daten-Pipeline-Deployments unterstützt, und arbeiten eng mit Projektteams zusammen, um Lieferungen über die Linie zu bringen.

Hauptaufgaben

Als unser Plattform- und Datenlandschaft sich weiterentwickeln, möchten wir unser Team mit einem erfahrenen CICD-Ingenieur spezialisieren, der auf Daten-Pipeline-Implementierungen ausgerichtet ist. Erwartungen an die Datenqualität sind ständig steigend, mit dem Bedarf an einer extrem stabilen Service-Lieferung. Wir müssen sicherstellen, dass unsere Lieferprozesse kontrolliert und für unsere Stakeholder sichtbar sind. - Wir sind besonders an jemandem interessiert, der mit Kafka, Spark und Databricks-Operationen mit Python vertraut ist. - Durch die Verstärkung unseres Teams tragen Sie erheblich zur Kontinuität und Qualität unserer Operationen bei. - Übernehmen Sie die operative Verantwortung für bestimmte Daten-Dienste (Change-Management, Qualitätsversicherungs-Management, SLA, SOP). - Verfolgen und stellen Sie sicher, dass kritische Daten-Pipelines während der asiatischen Stunden reibungslos laufen, indem Sie als primärer Ansprechpartner für kritische Probleme in einem Follow-the-Sun-Support-Modell fungieren. - Entwerfen, implementieren und optimieren Sie Daten-Pipelines im Batch- und Streaming-Modus. - Folgen und wenden Sie CICD-Praktiken an, um Deployments und Integrationen zu automatisieren und zu straffen. - Erstellen, pflegen und verbessern Sie Dokumentationen und Betriebsverfahren, für die die operative Verantwortung sichergestellt ist. - Arbeiten Sie cross-funktional zusammen, um Governance um Integration-Operationen zu verbessern und zu verfeinern. - Halten Sie hohe Standards an Datenqualität, Zuverlässigkeit und Leistung ein. - Bleiben Sie auf dem neuesten Stand mit Fortschritten in der Daten-Engineering, der DataOps-Technologie, um kontinuierliche Verbesserungen zu unterstützen.

Anforderungen und Qualifikationen

- Mindestens 5 Jahre praktische Erfahrung in der Daten-Engineering und Daten-Pipeline-Deployment, die in DevOps-Praktiken verwurzelt sind. - Erfahrung mit Python, SQL, PySpark und Databricks. - Robuste Erfahrung mit führenden CICD-Plattformen und Prozessen in hybriden Umgebungen (z.B. Azure DevOps, GitLab CI, GitHub Actions). - Vertrautheit mit Microservices-Architektur, API-Management und Beobachtbarkeit ist ein Plus. - Erfahrung mit Azure Databricks. - Gute Kommunikations- und Kollaborationsfähigkeiten. - Streng und methodisch in Dokumentation und Prozesserstellung. - Großes Interesse an Konvergenz, Normalisierung und Wiederverwendbarkeit. - Neugierig, begeistert und proaktiv. - Leidenschaftlich an Daten-Verarbeitungstechnologien, mit einem starken Wunsch, zu lernen und in einer anspruchsvollen Umgebung zu wachsen. - Fließendes Englisch in Wort und Schrift, Französisch ist ein Plus.

Unsere Werte

- Verantwortung: Übernahme der Verantwortung für Aufgaben und Herausforderungen sowie kontinuierliche Verbesserung. - Hands-on: Proaktiv, um hochwertige Ergebnisse schnell zu liefern. - Leidenschaftlich: Engagiert und strebend nach Exzellenz. - Lösungsorientiert: Fokus auf Kunden-Ergebnisse und faire Behandlung von Kunden mit einem risikobewussten Denken. - Partnerschaftsorientiert: Förderung von Zusammenarbeit und Teamarbeit. Zusammenarbeit mit einem unternehmerischen Geist.